Rails plugin: named fixtures exporter
Pour ceux qui comme moi utilisent des fixtures nommées dans rails 2.x, vous avez sans doute été confrontés au problème de maintenance de ces pas si petits fichiers yaml.
Le problème quand on travaille sur un projet faisant des calculs sur plusieurs modèles et donc tables, c’est qu’on doit tester un maximum de cas afin d’être sûr de ne rien broyer en cas de mauvaise optimisation. Il faut donc des jeux de données assez conséquents et les fixtures peuvent jouer ce rôle. La blague, c’est qu’en simplifiant les liaisons entre les fixtures en utilisant des noms et non plus les id, on se retrouve avec un système encore plus complexe à gérer quand le volume de données grandit.
Pour répondre à ce problème, voici un petit plugin pour rails 2.x permettant d’exporter le contenu de la base de données dans des fichiers de fixtures. La différence avec ceux existant déjà tient dans un fait simple : les relations belongs_to et has_and_belongs_to_many sont gérées avec le nom des fixtures.
Un exemple sera plus parlant :
class Message < ActiveRecord::Base belongs_to :sender belongs_to :recipient
has_and_belongs_to_many :medias end
$> rake db:fixtures:display_named --- sent_message_751373555: body: qu'en penses-tu ? sender: fabien type: SentMessage sent_at: 2008-06-12 15:28:43 Z subject: de bien belles fraises draft_message_893975074: recipient: etienne sender: fabien type: DraftMessage subject: "RE : invitation jacuzzi" sent_message_751373556: body: le meilleur jus d'oranges du monde! recipient: etienne sender: fabien type: SentMessage sent_at: 2008-06-19 15:25:43 Z subject: tropicana 2 read_at: 2008-06-26 14:40:53.707300 Z medias: strawberry_sunset received_message_507475146: body: everything's ok recipient: fabien sender: etienne type: ReceivedMessage sent_at: 2008-06-19 15:29:00 Z subject: test read_at: 2008-06-26 13:54:50.333372 Z
Le plugin va regarder pour chaque modèle spécifié les relations à prendre en compte, parcourir chaque entrée dans la base de données et pour chaque relation le plugin va chercher dans les fichiers de fixtures le nom de la fixture associée à l’entrée lue. Si aucun nom de fixture n’existe, il est crée en se basant sur la colonne title, name ou le nom de la classe suivie de l’id. L’écriture du fichier se faisant après le traitement, il est possible de rafraîchir les fixtures d’un modèle sans perdre les noms déjà présents.
2 rake tasks sont disponible : export_named et display_named. En installant le gem progressbar, vous aurez une barre de progression vous indiquant l’avancement si vos fixtures sont conséquentes.
Il y a encore des lacunes (doublons non gérés) et il manque quelques tests, mais la base du plugin est présente et fonctionnelle.
Pour l’installation du plugin :
$> ./script/plugin install http://named-fixtures-exporter.googlecode.com/svn/trunk/named_fixtures_exporter
Posted in rails | no comments |
PostgreSQL & Rails
Après migration sur PostgreSQL et discussions avec koollman connaissant bien cette base de données, j’ai pu faire quelques optimisations. L’authentification installée par défaut avec macports se fait par la méthode ‘trust’, ce qui permet à tous les utilisateurs locaux passant par une socket de se faire passer pour un autre utilisateur.
En passant sur une authentification ‘ident sameuser’, on se protège donc de cette faille et cela permet toujours d’accéder à la base de données sans mot de passe. Modifiez ceci dans le fichier pg_hba.conf dont le path est /opt/local/var/db/postgresql83/defaultdb/pg_hba.conf :
# TYPE DATABASE USER CIDR-ADDRESS METHOD
local all all ident sameuser
On précise au serveur qu’il faut reload le fichier :
$> sudo su postgres $> pg_ctl reload -D /opt/local/var/db/postgresql83/defaultdb
La création de l’utilisateur en super-utilisateur peut se faire en utilisateur normal ayant le droit de créer des base de données. Le script createuser posera les questions sans que vous ayez à spécifier de flag avec la commande.
Enfin, une entrée database.yml peut maintenant être simplifiée : l’utilisateur / mot de passe ainsi que l’hostname ne sont plus nécessaire.
development: adapter: postgresql encoding: utf8 database: my_great_project_development
Posted in rails | no comments |
RAILS sur PostgreSQL pour léopard
Vous avez déjà franchi le pas du système d’exploitation en passant sur un vrai système pleinement utilisable en tant que développeur mais aussi utilisateur final voulant du fonctionnel sans taper 15k commandes, c’est bien.
Vous avez aussi fait l’étape d’arrêter d’essayer de refaire le monde avec votre framework web et utilisez un vrai framework objet comme il se doit, c’est bien.
Il ne reste plus qu’à faire de même avec votre base de données. Seul soucis, mysql (voir sqlite) est agréable par sa simplicité et son zeroconf ou presque. Mais installer postgreSQL n’est pas si difficile que cela … en quelques étapes. De plus, RoR offrant maintenant des rake tasks pour créer et supprimer les base de données, vous n’aurez pas ou presque pas de commande spécifique à mémoriser.
Première étape : mettez à jour votre ports et les logiciels présents.
$> sudo port selfupdate $> sudo port upgrade outdated
Seconde étape : installation de postgreSQL serveur et client.
On va se simplifier un poil la tâche en installant le serveur seul, les dépendances installant le client.
$> sudo port install postgresql83-server ---> Fetching postgresql83 ---> Attempting to fetch postgresql-8.3.1.tar.bz2 from http://ftp8.us.postgresql.org/postgresql/source/v8.3.1/ ---> Verifying checksum(s) for postgresql83 ---> Extracting postgresql83 ---> Configuring postgresql83 ---> Building postgresql83 ---> Staging postgresql83 into destroot ---> Installing postgresql83 8.3.1_0 To use the postgresql server, install the postgresql83-server port ---> Activating postgresql83 8.3.1_0 ---> Cleaning postgresql83 ---> Fetching postgresql83-server ---> Verifying checksum(s) for postgresql83-server ---> Extracting postgresql83-server ---> Configuring postgresql83-server ---> Building postgresql83-server with target all ---> Staging postgresql83-server into destroot ---> Creating launchd control script ########################################################### # A startup item has been generated that will aid in # starting postgresql83-server with launchd. It is disabled # by default. Execute the following command to start it, # and to cause it to launch at startup: # # sudo launchctl load -w /Library/LaunchDaemons/org.macports.postgresql83-server.plist ########################################################### ---> Installing postgresql83-server 8.3.1_0 To create a database instance, after install do sudo mkdir -p /opt/local/var/db/postgresql83/defaultdb sudo chown postgres:postgres /opt/local/var/db/postgresql83/defaultdb sudo su postgres -c '/opt/local/lib/postgresql83/bin/initdb -D /opt/local/var/db/postgresql83/defaultdb' To tweak your DBMS, consider increasing kern.sysv.shmmax by adding an increased kern.sysv.shmmax .. to /etc/sysctl.conf ---> Activating postgresql83-server 8.3.1_0 ---> Cleaning postgresql83-server
On va se contenter d’écouter ce qu’on nous dis et exécuter les commandes suivantes (vous pouvez aussi copier-coller depuis votre shell pour simplifier):
$> sudo mkdir -p /opt/local/var/db/postgresql83/defaultdb
$> sudo chown postgres:postgres /opt/local/var/db/postgresql83/defaultdb
$> sudo su postgres -c '/opt/local/lib/postgresql83/bin/initdb -D /opt/local/var/db/postgresql83/defaultdb'
The files belonging to this database system will be owned by user "postgres".
This user must also own the server process.
The database cluster will be initialized with locales
COLLATE: C
CTYPE: UTF-8
MESSAGES: C
MONETARY: C
NUMERIC: C
TIME: C
The default database encoding has accordingly been set to UTF8.
initdb: could not find suitable text search configuration for locale UTF-8
The default text search configuration will be set to "simple".
fixing permissions on existing directory /opt/local/var/db/postgresql83/defaultdb ... ok
creating subdirectories ... ok
selecting default max_connections ... 20
selecting default shared_buffers/max_fsm_pages ... 2400kB/20000
creating configuration files ... ok
creating template1 database in /opt/local/var/db/postgresql83/defaultdb/base/1 ... ok
initializing pg_authid ... ok
initializing dependencies ... ok
creating system views ... ok
loading system objects' descriptions ... ok
creating conversions ... ok
creating dictionaries ... ok
setting privileges on built-in objects ... ok
creating information schema ... ok
vacuuming database template1 ... ok
copying template1 to template0 ... ok
copying template1 to postgres ... ok
WARNING: enabling "trust" authentication for local connections
You can change this by editing pg_hba.conf or using the -A option the
next time you run initdb.
Success. You can now start the database server using:
/opt/local/lib/postgresql83/bin/postgres -D /opt/local/var/db/postgresql83/defaultdb
or
/opt/local/lib/postgresql83/bin/pg_ctl -D /opt/local/var/db/postgresql83/defaultdb -l logfile start
Troisième étape : lancement du serveur au démarrage de la machine
$> sudo launchctl load -w /Library/LaunchDaemons/org.macports.postgresql83-server.plist
Quatrième étape : modification de l’environnement
Les binaires de postgreSQL ne sont pas accessibles directement, une petite modification de votre variable PATH vous donnera pleinement accès à tous les binaires et les scripts rails de création/suppression de base de données marcheront comme un charme. J’ai effectué cette modification dans le fichier .bash_login de mon utilisateur normal :
export PATH=~/bin:/opt/local/bin:/opt/local/sbin:/opt/local/apache2/bin:/opt/local/lib/postgresql83/bin:$PATH
Détail ayant son importance, il vous faut soit relancer un shell, soit lancer la commande dans le shell courant pour pouvoir espérer poursuivre l’installation.
Cinquième étape : installation pour rails
Il y a 3 gems ruby différents pour postgreSQL. Ca fait un peu beaucoup. Quelques recherches nous orientent rapidement vers postgres :
- officiellement maintenu par la communauté postgreSQL
- support natif et rapide comme le gem mysql
- dernières releases datent de cette année, alors que pour d’autres on remonte à 2006
On tente donc une installation qui va échouer vu que le postgres à été compilé avec le seul support de l’architecture i386. Il nous faut donc lancer la commande suivante :
$> sudo env ARCHFLAGS="-arch i386" gem install postgres Building native extensions. This could take a while... Successfully installed postgres-0.7.9.2008.01.28 1 gem installed Installing ri documentation for postgres-0.7.9.2008.01.28... Installing RDoc documentation for postgres-0.7.9.2008.01.28...
Sixième étape : gérer les droits et accès sur une machine de développement
Vous développez sur votre machine personnelle et voulez donc éviter la complexité d’avoir un serveur SQL avec une authentification … comme votre setup actuel sur MySQL. Pour cela, il vous faudrait vous connecter en user postgres avec le role postgres mais ca semble compliqué. Soit, créons donc un autre super-utilisateur pour votre login. Je vous laisse faire la substitution vous même :
$> createuser --superuser rider -U postgres
On me signale qu’il est bon de rappeler que cette configuration est à proscrire en environnement de production ;)
Dernière étape : tester dans une application existante utilisant l’antique MySQL
On substitue l’adapter et l’user dans le fichier database.yml :
adapter: postgresql username: postgres
Et on lance les petites commandes pour tester que tout va bien :
$> rake db:create:all $> rake db:migrate $> rake db:fixtures:load $> rake test:units
Sources :
Posted in rails | no comments |
image science vs image magick
Si vous avez du resizer des images sous rails, vous avez probablement touché à ce merveilleux gouffre de consommation mémoire qu’est Rmagick, binding ruby de la librarie image imagick. J’ai même entendu dire que certaines personnes tourneraient encore avec du fastcgi ce qui les écarte de ce problème, pas comme ceux qui doivent relancer leurs serveurs mongrel dans un cron (toute ressemblance avec des personnes réelles n’est que fortuite).
Il existe pourtant des alternatives … 2 dont une utilisant … image magick en ligne de commande. Ce qui en laisse une dernière : image science. La page du projet résume bien les choses :
Hate RMagic? Get Science! ImageScience!
ImageScience is a clean and happy Ruby library that generates thumbnails – and kicks the living crap out of RMagick. Oh, and it doesn’t leak memory like a sieve. :)
Je pense ne pas non plus trop me tromper en imaginant que vous utilisez en fait attachment_fu pour gérer vos uploads et génération de miniatures. Il s’agit de la majorité des cas sur lesquels j’ai pu travailler. Une des grandes beautés de ce plugin tient dans cette ligne :
@@default_processors = %w(ImageScience Rmagick MiniMagick)
Il est vrai qu’elle n’est pas la seule responsable, mais elle indique une chose très interessante : le plugin gère plusieurs librairies sans modification du code / configuration !
Dès lors, sous léopard, un petit tour dans le terminal permet d’installer la chose :
soda:~ rider$ sudo gem install RubyInline Successfully installed rubyforge-0.4.4 Successfully installed hoe-1.5.1 Successfully installed RubyInline-3.6.6 3 gems installed Installing ri documentation for rubyforge-0.4.4... Installing ri documentation for hoe-1.5.1... Installing ri documentation for RubyInline-3.6.6... Installing RDoc documentation for rubyforge-0.4.4... Installing RDoc documentation for hoe-1.5.1... Installing RDoc documentation for RubyInline-3.6.6... soda:~ rider$ sudo port install freeimage ---> Fetching freeimage ---> Attempting to fetch FreeImage3100.zip from http://downloads.sourceforge.net/freeimage ---> Verifying checksum(s) for freeimage ---> Extracting freeimage ---> Applying patches to freeimage ---> Configuring freeimage ---> Building freeimage with target all ---> Staging freeimage into destroot ---> Installing freeimage 3.10.0_0+darwin_9+universal ---> Activating freeimage 3.10.0_0+darwin_9+universal ---> Cleaning freeimage soda:~ rider$ sudo gem install image_science Successfully installed image_science-1.1.3 1 gem installed Installing ri documentation for image_science-1.1.3... Installing RDoc documentation for image_science-1.1.3...
AND VOILA ! On peut directement profiter de cette belle librairie limité uniquement au crop/resize des photos :) De plus, il semblerait que contrairement à ce que j’avais lu il y a quelques mois, les 2 librairies (imagescience et rmagick) peuvent cohabiter sur un même système.
Prochaine étape, une petite étude de la consommation mémoire entre les 2 librairies.
Posted in rails | no comments |