Retrouvez motrech sur son nouveau site http://motre.ch/
1 avr. 2005
J2J2 Info - We done it !
ça y est! nous l'avons fait!
Après de très nombreuses nuits blanches, et de difficiles négociations, nous sommes parvenu, dans le cadre du projet frutch a crawler et à indexer grâce au moteur open source nutch plus de pages que Godgle. Nous sommes aujourd'hui à 8 154 235 101 pages réellement indexées.
Bien sûr, il nous aura fallu un mois de crawl intensif pour parvenir à ce résultat, et nous n'avons pas encore de réelle solution pour une mise à jour de l'index en dessous de quinze jours, mais nous allons travailler maintenant dans ce sens.
Fructh étant avant tout axé sur la transparence, voici une descriptif rapide de la configuration utilisée pour parvenir à ce résultat: Juste 20 PCs ordinaires, chacun équipé de 4 Go de mémoire et de 10 racks disques de 10 To. Tout cet équipement et la bande passante nécessaire nous a été prêté par une organisation qui pour des raisons juridiques (nous n'avons pour le moment aucun réel acccord) ne souhaite pas divulguer son identité pour le moment. Elle nous a cependant autorisé à donné ces quelques informations en attendant une annonce officielle qui devrait avoir lieu dans le courant du mois.
Fructh, à suivre...
(Pour des informations techniques plus détaillées, consultez le site de Frutch).
Après de très nombreuses nuits blanches, et de difficiles négociations, nous sommes parvenu, dans le cadre du projet frutch a crawler et à indexer grâce au moteur open source nutch plus de pages que Godgle. Nous sommes aujourd'hui à 8 154 235 101 pages réellement indexées.
Bien sûr, il nous aura fallu un mois de crawl intensif pour parvenir à ce résultat, et nous n'avons pas encore de réelle solution pour une mise à jour de l'index en dessous de quinze jours, mais nous allons travailler maintenant dans ce sens.
Fructh étant avant tout axé sur la transparence, voici une descriptif rapide de la configuration utilisée pour parvenir à ce résultat: Juste 20 PCs ordinaires, chacun équipé de 4 Go de mémoire et de 10 racks disques de 10 To. Tout cet équipement et la bande passante nécessaire nous a été prêté par une organisation qui pour des raisons juridiques (nous n'avons pour le moment aucun réel acccord) ne souhaite pas divulguer son identité pour le moment. Elle nous a cependant autorisé à donné ces quelques informations en attendant une annonce officielle qui devrait avoir lieu dans le courant du mois.
Fructh, à suivre...
(Pour des informations techniques plus détaillées, consultez le site de Frutch).
Inscription à :
Publier les commentaires (Atom)
Membres
Chercher
Archives
Derniers Billets
Les sites amis
Derniers Visiteurs
Catégories
- 2001
- 2008
- 2018
- 2D
- 3D
- abondance
- addict-o-matic
- adobe
- aixtal
- ajax
- alexa
- altavista
- alternatif
- alternative
- amazon
- anatomie
- annuaires
- aol
- apple
- ask
- astuces
- audio
- auteur
- avis
- baidu
- bart
- bègues
- bêta
- bientôt web
- blinkx
- blogoscopie
- bonne année
- boss
- browserank
- cartographie
- cashback
- clavier
- clir
- collarity
- commoncraft
- couleur
- cours
- critiques
- cuil
- culture
- dapper
- depression
- docjax
- don organe
- doona
- duplication
- dyslexiques
- ebay
- écologie
- éducation
- emilie ogez
- enfants
- enquête
- enterprise search
- entreprises
- errorkey
- évènement
- evri
- exalead
- eye tracking
- facesearch
- faits marquants
- FAQ
- fêtes
- findloo
- firefox
- first click free
- fizy
- flash
- forum
- fracture numérique
- france
- france telecom
- fsb
- gammafiles
- glue
- goopilation
- graphe social
- hadoop
- hadopi
- hakia
- hurisearch
- i-expo
- icones
- iconlook
- idée labs
- image
- images
- inovall
- inquisitor
- intelways
- interlingue
- internet explorer
- interview
- jamesoo
- jean véronis
- jinni
- job
- kallout
- kartoo
- keyboardr
- kindernet
- kosmix
- kumo
- labs
- langage naturel
- leapfish
- live search
- localisation
- lucene
- lucky
- lycos
- marissa mayer
- matt cutts
- médias sociaux
- megaupload
- métamoteur
- microblogging
- microformat
- microsoft
- mindomi
- mobilité
- mokhles
- mondes virtuels
- moodstream
- moteur de recherche
- moteur recherche
- moteurs de recherche
- motrech
- mots-clés
- multimatch
- musées
- musique
- navigation
- newssift
- nielsen
- nostalgie
- nutch
- oamos
- opthink
- orange
- pagerank
- passé
- pdf search engine
- personalisation
- pertinence
- pew internet
- photos
- piithie
- pipl
- plugin
- powerset
- présentation résultats
- profiling
- prospective
- quaero
- rapidshare
- recherche
- recherche avancée
- recherche d'information
- recherche information
- recherche sémantique
- recherche sociale
- reconnaissance de la parole
- reconnaissance des formes
- reconnaissance des images
- référencement
- reherche actualités
- rentrée
- répertoires
- robots balises html exclusion protocole
- rpm2
- search 2009
- searchcube
- searchme
- searchmonkey
- searchwiki
- sémantique
- seo
- similarr
- simpsons
- sinequa
- sites web
- snappyfingers
- social computing
- social search
- socialmention
- soldes
- solr
- spam
- spffy
- suggestion
- sun
- taille web
- taux rebond
- texcoop
- timeline
- tineeye
- tinyeye
- torrent
- tourisme
- traduction
- true-knowledge
- tutoriel
- twingly
- ujiko
- utilisation
- vacances
- velocity
- veosearch
- video
- videosurf
- vie privée
- vista
- vivisimo
- web 3.0
- web invisible
- web search
- web sémantique
- web3
- whatever
- wikia
- wikio
- wikio labs
- wikipedia
- wolfram
- wordle
- yahoo
- yahoo boss
- yandex
- yos
- youtube
A propos de ce blog
Le blog motrech existe depuis le mois de Février 2005. Tout comme la liste du même nom, il est (bien sur!) consacré aux moteurs de recherche.
Propulsé à l'origine par Jérôme Charron, Emilie Ogez a embarquée à bord en Avril 2008.
2 commentaires:
lol et mon fish, il faut changer son eau aujourd'hui :)
Chouette ca va me permettre d'aller a la peche aux liens;)
Enregistrer un commentaire