Retrouvez motrech sur son nouveau site http://motre.ch/

1 avr. 2005

Jérôme Info - We done it !

ça y est! nous l'avons fait!
Après de très nombreuses nuits blanches, et de difficiles négociations, nous sommes parvenu, dans le cadre du projet frutch a crawler et à indexer grâce au moteur open source nutch plus de pages que Godgle. Nous sommes aujourd'hui à 8 154 235 101 pages réellement indexées.

Bien sûr, il nous aura fallu un mois de crawl intensif pour parvenir à ce résultat, et nous n'avons pas encore de réelle solution pour une mise à jour de l'index en dessous de quinze jours, mais nous allons travailler maintenant dans ce sens.
Fructh étant avant tout axé sur la transparence, voici une descriptif rapide de la configuration utilisée pour parvenir à ce résultat: Juste 20 PCs ordinaires, chacun équipé de 4 Go de mémoire et de 10 racks disques de 10 To. Tout cet équipement et la bande passante nécessaire nous a été prêté par une organisation qui pour des raisons juridiques (nous n'avons pour le moment aucun réel acccord) ne souhaite pas divulguer son identité pour le moment. Elle nous a cependant autorisé à donné ces quelques informations en attendant une annonce officielle qui devrait avoir lieu dans le courant du mois.
Fructh, à suivre...
(Pour des informations techniques plus détaillées, consultez le site de Frutch).

2 commentaires:

insanecricri a dit…

lol et mon fish, il faut changer son eau aujourd'hui :)

seb a dit…

Chouette ca va me permettre d'aller a la peche aux liens;)

Enregistrer un commentaire