blog.name.nil? : Archives for March 2008

timemachine & samba sous linux

Fri, 28 Mar 2008 18:00:00 +0100

Timemachine est un outil très pratique mais un peu contraignant : il faut brancher son disque externe pour profiter des sauvegardes. Ce qui amène le risque d’oublier de le brancher surtout sur un ordinateur portable. Cependant, la beta de léopard avait offert la possibilité de sauvegarder sur un serveur de fichiers type samba, mais cette fonctionnalité fut rapidement bloquée lors du lancement officiel pour des raisons de soit disante sécurité (les sauvegardes seraient non fiables).

Après plusieurs mois d’utilisation de timemachine sur un serveur linux fournissant du samba le tout via wifi (en 802.11n pour un minimum de performances), je n’ai constaté aucun problème de fiabilité des données. Il suffit de lancer une commande simple dans le terminal pour que timemachine voit de nouveau les montages réseau, de plus, cette commande résiste aux reboots :

defaults write com.apple.systempreferences TMShowUnsupportedNetworkVolumes 1

A noter que cette commande n’est actuellement plus nécessaire suite à la sortie de timecapsule et des mises à jour qui ont suivi. Petit bémol cependant : elle ne semble fonctionner qu’avec des serveurs samba, exit donc les serveurs NFS plus performants et moins gourmands en mémoire que leurs homologues samba. Ceci dis, cela permet d’obtenir un timemachine utilisant un nas dans un environnement relativement standard.

Voulant maintenant utiliser timemachine sur une de mes machine de bureau et donc vierge de tout disque timemachine, il me faut créer le volume. J’ai donc monté le volume souhaité via le Finder, choisi celui-ci dans la configuration de timemachine et lancé la première opération de backup. Mais il semble qu’il y ait une limite qu’apple a décidé d’imposer aux disques réseaux pour vendre sa timecapsule : la création de l’image disque échoue. Un petit tour dans les logs et sur le filer pour se rendre compte qu’il y a bien une étape de création d’une image disque, qu’elle est correctement écrite mais au moment d’en faire le montage cela échoue ‘magiquement’ :

Mar 27 22:46:44 cola /System/Library/CoreServices/backupd[36785]: Backup requested by user
Mar 27 22:46:44 cola /System/Library/CoreServices/backupd[36785]: Starting standard backup
Mar 27 22:46:44 cola /System/Library/CoreServices/backupd[36785]: Creating disk image /Volumes/timemachine-cola/cola_001a92566c28.sparsebundle
Mar 27 22:46:52 cola kernel[0]: hfs: Initializing the journal (joffset 0x322000 sz 0x800000)...
Mar 27 22:46:55 cola com.apple.KernelEventAgent[63]: KernelEventAgent: sysctl_queryfs: No such file or directory
Mar 27 22:46:55 cola /System/Library/CoreServices/backupd[36785]: Backup requested due to disk attach
Mar 27 22:46:55 cola /System/Library/CoreServices/backupd[36785]: Error 45 creating backup disk image
Mar 27 22:46:55 cola /System/Library/CoreServices/backupd[36785]: Failed to create disk image
Mar 27 22:46:55 cola /System/Library/CoreServices/backupd[36785]: Backup failed with error: 20

L’ensemble des fichier de l’image est effacé après échec de la création. Mais une soixantaine de mega-octets ont tout de même été copiés. Apprenant qu’il faut copier les fichiers avant leur effacement pour les remettre juste après afin d’obtenir un timemachine fonctionnel, on ne peut penser qu’il ne s’agit que d’un hack de dernière minute de la part d’Apple pour bloquer les disques réseaux n’affichant pas de pomme. Un petit watch exécuté sur le serveur de fichiers pour copier constamment les données de l’image disque lors de sa création et le tour est joué :

watch -n 0.1 cp -Rvpd . /tmp/timemachine

On remet les fichier en place et … timemachine peut maintenant utiliser le nas pour sauvegarder.

afficher ses filers dans le finder

Mon, 17 Mar 2008 00:33:00 +0100

Je possède quelques serveurs de fichiers sous linux diffusant en samba et nfs. J’ai recemment découvert que sous léopard la vitesse était x10 en utilisant nfs plutôt que samba.

Afin d’obtenir un montage systématique de mes serveurs sur mes workstations léopard, j’ai fouillé un peu sur le google pour trouver qu’il existait un service d’annonce de service sous linux que léopard peut comprendre : avahi.

Testons donc cette solution, on installe le paquet (avahi-daemon dans mon cas sur debian) et on configure un service. C’est un fichier xml indiquant au daemon quel service il doit annoncer. Pour un exemple simple d’annonce d’un serveur samba, ca donne ca :

?xml version="1.0" standalone='no'?>
<!DOCTYPE service-group SYSTEM "avahi-service.dtd">

<service-group>
    <name replace-wildcards="yes">%h filer</name>
    <service>
        <type>_smb._tcp</type>
        <port>139</port>
        <host-name>cortex.storage.geekspirit.net</host-name>
    </service>
</service-group>

On attend … encore … et rien sur la workstation. Je pense à ma topologie réseau un peu spéciale : mes serveurs ne sont pas sur le même réseau que mes workstations. Exit donc les possibilité de broadcast qui pourraient faire correctement marcher un service tel que celui-ci. Mais pas grave, fouillons les options de configuration pour voir si un moyen de transmettre les données d’un avahi à l’autre. Et ca paie : l’attribut enable-reflector permet cette petite fonctionnalité. On installe donc un petit avahi sur le firewall qui est situé entre les 2 réseaux et qui fait le pont, on mets l’option à yes et … ca marche !

Mais ca ne me convient qu’à moitié : je préfère du nfs. On tente donc le coup avec cette fois ci ce service :


<!DOCTYPE service-group SYSTEM "avahi-service.dtd">

<service-group>
<name replace-wildcards="yes">pics</name>
<service>
    <type>_nfs._tcp</type>
    <port>2049</port>
    <txt-record>path=/exports/pics</txt-record>
    <host-name>cortex.storage.geekspirit.net</host-name>
</service>
</service-group>

Et déception, rien ne s’affiche. Après quelques recherches, j’apprends que sous léopard ca ne marche pas avec nfs. Mais un script permet de rechercher les services nfs puis s’occupe de monter tout seul chaque point de montage. Ca serait presque parfait si on pouvait même le lancer au login. Le seul hic, c’est qu’en mettant le script dans les startup items, ca ne fait qu’ouvrir xcode avec le script en question. Une petite astuce pour lancer des scripts : retirer l’extension. Ca n’est pas très beau, mais léopard croit voir un script unix et lance un terminal pour l’exécuter.

Et voila, à l’invite on se retrouve avec un beau montage tout fait tout propre, remis à jour dynamiquement grace à bonjour et toutes les personnes squattant ici avec un mac pourront maintenant voir directement les serveurs sur lesquels se servir ou m’offrir.

joyeux anniversaire !

Sun, 16 Mar 2008 20:52:00 +0100

Un tout petit billet pour souhaiter un joyeux anniversaire à ma compagne naïma qui fête son premier quart de siècle.

Installation de lÃ©opard sur pc x86, 2e round

Fri, 14 Mar 2008 12:55:00 +0100

Après avoir testé avec succès l’installation de la version iATKOS sur ma configuration :

Asus P5B Deluxe
Intel Core 2 Duo 6300
4Go 800Mhz
GeForce 7600GT
300Go sata

J’ai décidé de tenter une autre version de l’installer et ce pour plusieurs raisons. La première est un problème qui devient gênant dès lors qu’on possède plus d’une machine à démarrer : il faut démarrer à l’aide du CD. Certes, des méthodes permettant de s’affranchir de cette méthode existe, mais pourquoi ne pas les avoir incluses au DVD d’installation ? Mes autres problèmes sont plus d’ordre de performance : je sens qu’il doit traîner encore quelques phases d’émulation dans la machine, ce qui serait normal vu que je n’ai pu choisir le kernel vanilla. Enfin, après quelques tests et prises de renseignements sur divers forums, les drivers du dvd kalyway sont plus récents que ceux fournis sur l’iATKOS. J’ai pu constater que le driver vidéo détecte la bonne quantité de mémoire vidéo sur le système kalyway, alors que du coté iATKOS cela n’était pas le cas. Bien sur, cela est uniquement dû au driver et non à la méthode d’installation (NVInject dans les 2 cas, version 0.1.3 contre 0.1.5). Pour en finir, j’ai aussi testé le multi carte graphiques sans succès avec l’iATKOS et j’aimerai bien savoir si il est possible de faire fonctionner plusieurs cartes pour un même système, je pense que cela pourrait intéresser certaines personnes qui me lise ici.

DISCLAIMER: Cet article est disponible dans le seul but informatif. Je vous conseille fortement de vous tourner directement vers du matériel apple pour vous éviter bien des problèmes voir des pertes de données. Je ne suis en aucun cas responsable de la destruction de vos données ni des abus que vous pourriez faire en utilisant les méthodes décrites ici.

Quoi qu’il en soit, après avoir un peu galéré pour les drivers réseau et son, voici un petit tutoriel fonctionnant sur la configuration cité plus haut avec les limites suivantes :

driver JMicron non testé
carte son en AC97 stéréo seulement, pas d’entrée
une seule des deux cartes réseaux interne fonctionnelle

Comme pour la précédente installation, il vous faudra vous assurer que vous ayez bien mis à jour votre bios et que vous l’ayez configuré de la facon la plus standard. Je ne parle même pas de l’overclocking ici vu comment je considère cette pratique comme contre-productive.

Ayant 2 installations différentes, j’ai pu constater quelques différences au niveau des drivers : ceux de kalyway sont plus frais, mais certains sont manquants dans mon cas (réseau et son). De plus, l’installation kalyway à la mauvaise idée de vouloir personnaliser le bureau avec un thème orange du plus mauvais effet. J’ai pu m’en sortir dans un premier temps avec une carte réseau gigabit 3com reconnue comme une 3c905 assez standard. Je vous conseille de récupérer ces fichiers :

driver réseau skge (pour puces marvell) : skge.kext.zip
driver son AC97 : AppleAzaliaAudio.kext.zip
nettoyeur de thème (vous pouvez le trouver sur le forum de kalyway, voir lien en bas du billet)

Pour ce qui est des fichiers à télécharger ailleurs, voici ce qu’il vous faut :

KALYWAY_LEO_10.5.1intel_SSE2_SSE3.zip : il contient une iso dont le sha1sum est fa572e8704cbb26779c4f497f8b949872b26362d
KalywayIntelCombo10.5.2.zip dont le checksum SHA1 est ab10d0f3b9331e6affce64b11ced1aa1759461cb

Il vous fait maintenant démarrer sur le dvd, j’ai utilisé le kernel ‘vanilla’ qui est le kernel fourni directement par apple sur son système. Si votre machine n’est pas très proche du matériel apple, passez votre chemin. Sinon, une pression sur F8 suivi de ‘vanilla’ peut vous faire gagner un peu en performances. Lors du chargement du noyau, le lecteur DVD est très sollicité faisant de nombreux aller-retours, cela semble normal et votre machine n’est pas plantée pour autant.

Le chargement de l’installeur s’en suit et un message vous indique la marche à suivre. Vous pouvez configurez votre disque en utilisant l’utilitaire de disque fourni dans le menu des utilitaires. J’ai opté pour un fs journalisé et case-sensitive pour me rapprocher le plus possible d’unix. Le boot choisi ici est GUID, mais vous pouvez utiliser MBR qui est censé marcher de la même façon.

Une fois le partionnement effectué, on peut rentrer dans le vif du sujet avec la configuration des options. Pour ma configuration j’ai opté pour la suivante :

Vanilla kernel + ACPI
NVInject gfnvidia
BOOT EFI guid

Il ne reste plus qu’a lancer l’installation et attendre. Il est possible que vous ayez l’impression que la progression soit freezée, c’est possiblement le cas si jamais le système à mis en veille la vidéo.

Au redémarrage, vous pouvez apprécier le boot sur disque dur directement. Mais les choses deviennent un peu plus complexes dès à présent. Il faut maintenant installer le support réseau et son, tout en migrant vers la version 10.5.2. Ayant eu des problèmes en voulant installer les drivers skge sur la 10.5.4 (écran de plantage habituel), je vous conseille de ne le faire qu’après la mise à jour 10.5.2. Cette dernière est d’ailleurs très simple à effectuer, vous dézippez le fichier KalywayIntelCombo10.5.2.zip , puis lancez l’installation. L’installation passe par un redémarrage, puis un autre sans avoir grand chose à l’écran.

Une fois redémarré, il ne reste plus que les 2 drivers pour apprécier léopard sur votre pc. Il vous faut donc les extensions noyaux téléchargées plus haut ainsi que le programme déjà installé pour vous par kalyway : kext helper. Cette application permet d’installer des extensions sans broyer la totalité du système. Vous devez juste glisser vos extensions dans la fenetre, renseignez votre mot de passe et validez. Vous devriez avoir un message vous indiquant alors qu’une nouvelle carte réseau à été détectée et il est même possible que ca fasse du son en l’affichant ;).

La dernière phase, nettoyer le beau thème par défaut orange. On décompresse l’archive Restore_Factory_Desktop_settings et on exécute.

Vous devriez avoir un léopard 10.5.2 avec un noyau standard ;)

PS : la distribution kalyway intègre de nombreux outils comme VLC ou Transmission. De plus, elle intègre quelques plugins sympathiques pour utiliser quicktime et d’autres formats que le mov de base.

Liens, sources :

image science vs image magick

Mon, 10 Mar 2008 03:54:00 +0100

Si vous avez du resizer des images sous rails, vous avez probablement touché à ce merveilleux gouffre de consommation mémoire qu’est Rmagick, binding ruby de la librarie image imagick. J’ai même entendu dire que certaines personnes tourneraient encore avec du fastcgi ce qui les écarte de ce problème, pas comme ceux qui doivent relancer leurs serveurs mongrel dans un cron (toute ressemblance avec des personnes réelles n’est que fortuite).

Il existe pourtant des alternatives … 2 dont une utilisant … image magick en ligne de commande. Ce qui en laisse une dernière : image science. La page du projet résume bien les choses :

Hate RMagic? Get Science! ImageScience!

ImageScience is a clean and happy Ruby library that generates thumbnails – and kicks the living crap out of RMagick. Oh, and it doesn’t leak memory like a sieve. :)

Je pense ne pas non plus trop me tromper en imaginant que vous utilisez en fait attachment_fu pour gérer vos uploads et génération de miniatures. Il s’agit de la majorité des cas sur lesquels j’ai pu travailler. Une des grandes beautés de ce plugin tient dans cette ligne :

@@default_processors = %w(ImageScience Rmagick MiniMagick)

Il est vrai qu’elle n’est pas la seule responsable, mais elle indique une chose très interessante : le plugin gère plusieurs librairies sans modification du code / configuration !

Dès lors, sous léopard, un petit tour dans le terminal permet d’installer la chose :

soda:~ rider$ sudo gem install RubyInline
Successfully installed rubyforge-0.4.4
Successfully installed hoe-1.5.1
Successfully installed RubyInline-3.6.6
3 gems installed
Installing ri documentation for rubyforge-0.4.4...
Installing ri documentation for hoe-1.5.1...
Installing ri documentation for RubyInline-3.6.6...
Installing RDoc documentation for rubyforge-0.4.4...
Installing RDoc documentation for hoe-1.5.1...
Installing RDoc documentation for RubyInline-3.6.6...
soda:~ rider$ sudo port install freeimage
--->  Fetching freeimage
--->  Attempting to fetch FreeImage3100.zip from http://downloads.sourceforge.net/freeimage
--->  Verifying checksum(s) for freeimage
--->  Extracting freeimage
--->  Applying patches to freeimage
--->  Configuring freeimage
--->  Building freeimage with target all
--->  Staging freeimage into destroot
--->  Installing freeimage 3.10.0_0+darwin_9+universal
--->  Activating freeimage 3.10.0_0+darwin_9+universal
--->  Cleaning freeimage
soda:~ rider$ sudo gem install image_science
Successfully installed image_science-1.1.3
1 gem installed
Installing ri documentation for image_science-1.1.3...
Installing RDoc documentation for image_science-1.1.3...

AND VOILA ! On peut directement profiter de cette belle librairie limité uniquement au crop/resize des photos :) De plus, il semblerait que contrairement à ce que j’avais lu il y a quelques mois, les 2 librairies (imagescience et rmagick) peuvent cohabiter sur un même système.

Prochaine étape, une petite étude de la consommation mémoire entre les 2 librairies.

monitoring externe

Sun, 09 Mar 2008 19:59:00 +0100

Toutes les entreprises proposant un service ou plus directement leur site internet corporate veulent avoir comme garantie un service continu sans aucune coupure. Cela implique dans la majorité des cas, que l’entreprise gère elle même son matériel ou qu’elle loue une prestation, la mise en place de service de monitoring complexe, difficile à maintenir et mettre en place pour s’adapter parfaitement aux différentes spécificité des produits vendus.

Dans la plupart des cas, on se retrouve avec une machine ~~trop~~ très proche du réseau de l’entreprise pour effectuer la surveillance et avec de la chance, on a quelques alertes SMS pour réveiller les admin-{sys,net}. Mais rien ne garantie que l’on reste accessible d’un point de vue totalement extérieur, à l’autre bout du monde avec un fai et donc tout ce qui en découle (dns, réseau, …) totalement différent. De plus, la spécificité des tests mis en place rends souvent caduc leur fiabilité avec des faux positifs projetant l’outil dans un placard.

Plutôt que de monter une machine sur chaque continent pour voir comment le système se comporte, on peut faire appel à un service de monitoring externe. J’ai testé depuis quelques semaines un petit outil sympathique : pingdom. La page principal vend le système comme simple d’utilisation et accessible même à votre DSI qui peut avoir tendance à parfois surestimer ses connaissances.

Dès l’inscription, on recois un sms pour valider le numéro d’alerte : c’est le service d’envoi de sms le plus rapide que je connaisse, même sfr ne va pas aussi vite pour envoyer son sms de mot de passe de connection.

Concrètement, on a le choix entre 2 offres : standard et business. Les 2 diffèrent par le nombre d’alertes sms envoyables ainsi que par le nombre de points de contrôle. Un point de contrôle (check) correspond au monitoring d’un service sur une ip/nom de domaine (ex: ping domaine.example.org). On peut créer plusieurs comptes, chacun pouvant recevoir une alerte sms/mail et chaque check peut avoir sa liste de contact bien spécifique.

L’interface est simple et intuitive. Des tutoriels vidéos présents pour présenter les diverses fonctionnalités, les graphiques sont assez propres et peuvent très bien s’exporter sur un rapport. Enfin, quelques pages montrant la disponibilité totale sur tous les tests faits peuvent vite remplacer les concours d’uptime pratiqués par certains geeks sur leurs unix favoris.

Autres points interessants:

les tests sont effectués depuis de nombreux serveurs situés ca et là sur le globe, cela permet de tester le temps de réponse et la disponibilité de facon planétaire
des offres de rabais sont directement proposés (70%) en partant de l’offre d’essai, ca laisse tout de même penser que ce site est encore jeune malheuresement.
une API est disponible pour s’interfacer avec leur site et son compte pour connaitre l’état de ses services. Ca permet par exemple de lier l’outil de monitoring interne à cet outil externe
des rapports mensuels bien evidemment
une page publique qui peut montrer l’état de vos services à vos clients si vous le souhaitez

Référence : pingdom

Fri, 07 Mar 2008 09:42:00 +0100

Mais pourquoi donc installer un léopard sur un pc alors que ca tourne merveilleusement sur un mac ? Réponse simple : il me faut décider quel machine choisir pour éviter un mauvais achat. un mac pro avec 2 écrans 23" ? 2 imac 24" ? un seul avec un autre écran ? Pas facile de réorganiser totalement son environnement de travail. De plus, je n’ai jamais eu l’occasion de tester mac os x en environnement sédentaire, j’ignore totalement si ce sera une expérience agréable et plus intéressante que celle offerte par linux.

La solution pour éviter les erreurs serait comme pour tout bon logiciel en cours de développement : les tests en continu. Il me faut donc pouvoir tester l’ensemble de ma configuration avant de déployer mon environnement de travail sur ses machines finales.

J’ai dans un premier temps testé l’installation de léopard sur une machine très proche des machines apple :

Asus P5B Deluxe (chipset intel)
Intel Core 2 Duo 6300 1.86 Ghz
2Go
300Go sata2
GeForce 7600GT 256Mo PciExpress

L’essai fut si concluant que j’ai poussé le vice à installer le même système sur une machine plus éloignée mais restant dans la gamme Intel. J’en parlerais dans un autre billet vu qu’elle semble encore un peu récalcitrante.

Dans l’ordre, il vous faudra :

de la patience
de quoi vous occuper pendant l’installation, la barre de progression est moins captivante que les messages d’installation de windows
un dvd contenant l’installer que vous pourrez trouver seul avec cet indice : iATKOS
une mise à jour complète de vos bios divers et variés : carte graphique, carte mère, …

Pour vous simplifier la tâche et éviter la recherche de bug au moment de l’installation même, retirez tous les périphériques internes et externes qui sont inutiles : j’ai eu quelques mauvaises expériences avec une seconde carte graphique dans le second port PciExpress dont vous vous passerez probablement. Et pour être doublement sur de cette manipulation, désactivez aussi au passage tous les périphériques inutiles dans le bios de votre machine : pour faire simple, certains périphériques ‘secondaires’ comme les ports raids supplémentaires ont parfois des drivers rendant le système instable, dans mon cas le controlleur JMicron. Enfin, un petit passage par les réglages standards ne peut qu’aider (ahci pour le controlleur sata par exemple).

Pour faire simple, voici par étapes l’installation :

boot sur le dvd d’installation
partionnage du disque dur de destination avec l’utilitaire disque dans le menu utilitaires. J’ai testé avec succès les filesystems case-sensitive et non case-sensitive, les deux en hfs+ journalisé. Le seul point important ici semble être le choix dans les options : cochez impérativement MBR et non GUID
choix du disque de destination, celui que vous venez de partionner
choix des paquets à installer, pour la toute première installation je vous conseille fortement de ne RIEN cocher
patience, patience
reboot, on laisse le dvd en place et on attends le décompte et on profite

Si jamais vous avez des périphériques qui ne fonctionnent pas (réseau) ou que votre résolution n’est pas correctement détecté, alors il vous faudrait réinstaller en choisissant les bons paramètres. Si vous n’avez pas de processeur supportant le SSE3 et SSE2, ou une carte mère n’ayant pas de chipset intel, il vous faut choisir le kernel patché marqué comme tel. Lisez bien les informations pour chaque driver et n’hésitez pas à fouiller quelques minutes sur le net, cela prendra moins de temps que de ré-installer une machine ne démarrant pas. Les choix que j’ai fais pour ma machine sont simples : nvinject pour la carte graphique ainsi que le driver de la carte réseau. Il est sûrement possible de faire mieux mais cette configuration me convient parfaitement pour mes tests.

Son seul bémol : il me faut conserver le dvd d’installation pour démarrer la machine et je n’ai pas réussi à comprendre pourquoi. Si quelqu’un aurait la solution, je pourrais le remercier d’une bière ou autre breuvage ;) J’ai l’impression que ce problème touche aussi la gestion EFI qui m’empèche d’utiliser le kernel standard qui authorise les mises à jour venant directement d’apple sans rien broyer.

De mon coté, 100% de mon matériel est reconnu ou du moins de ce que j’ai pu tester :

carte son fonctionnelle en stéréo (pas testé si la sortie numérique et/ou les sorties analogiques autre que gauche/droite fonctionnent)
carte graphique avec accélération reconnue
carte réseau en gigabit, petits soucis de reconnaissance du gigabit de temps à autre cependant, on débranche et ca remarche
usb 2.0 parfaitement reconnu
firewire nickel
disques durs sata reconnus, je n’ai pas poussé jusqu’à tester le controller JMicron

Ayant 2 configurations identiques, je vais reproduire l’installation avec diverses options pour trouver au mieux les bons paramètres … une fois qu’antec m’aura renvoyé mon alimentation réparée, merci la garantie 3 ans.

Sources: