Retrouvez motrech sur son nouveau site http://motre.ch/

Dans un récent message sur la liste motrech, Jean-Marie Le Ray (le nouveau spécialiste Google francophone) demandait si quelqu'un disposait d'informations sur le moteur de recherche Peer To Peer Yacy. Dans la première partie de ma réponse, je reprends plus ou moins mes arguments habituels à l'encontre des moteurs de recherche Pire Tout Pire, Je reconnais par la suite qu'un aspect intéressant de Yacy consiste dans son approche proxy, et par la suite je m'emballe un peu (beaucoup?) au sujet de Free / Iliad / Dir.com. Pourquoi donc? Tout simplement parce que comme de nombreux observateurs francophones des moteurs de recherche, je ne comprends pas bien ce que fait Iliad avec Dir.com. Pourquoi avoir investit dans des ressources pour ne pas faire vivre ce moteur? Jean a bien mit Dir.com sur le devant de la scène à de nombreuses reprises (Chronologue, Nébuloscope, Présidographe) mais ce moteur s'il était doté des moyens humains à sa mesure pourrait vraiment devenir un moteur intéressant. Je m'explique et developpe mon propos dans ce que nous pourrions considérer comme une lettre ouverte à Iliad ...

Les fournisseurs d'accès ne semblent pas bien se rendre compte de l'or qui coule dans leurs tuyaux: Ils disposent en temps réel du flux des documents consultés par leurs internautes. Du point de vue d'un moteur de recherche, cette position au coeur du réseau (proxy) est intéressante à plus d'un titre:

Tout d'abord au niveau de la découverte de nouvelles ressources. Les URLs collectés lors du browsing des Internautes permettent de découvrir à moindres frais de nouveaux sites à explorer : Contrairement aux moteurs traditionnels, même si ces documents sont faiblement interconnectés sur le réseau ou bien même sont à des profondeurs qui ne sont habituellement pas explorées, un proxy permettrait de découvrir de tels documents.

Ensuite, au niveau du crawling des documents. Plus besoin de crawler le Web, ou plutôt dans une moindre mesure. En effet, la position de proxy permet de récupérer directement le contenu qui passe sur le réseau du fournisseur d'accès et ainsi de le valoriser en l'indexant à la volée.

Enfin, celà permettrait de mettre en oeuvre de nouveaux algorithmes de calcul de la pertinence en y intégrant les usages des utilisateurs. Une sorte de UsageRank dans lequel pourrait être prit en compte non seulement les URLs des documents-réponses les plus consultés (comme le fait aujourd'hui Google), mais aussi et surtout, les URLs les plus consultés par les Internautes, ainsi que les parcours des Internautes sur la toile.

Bref, que d'avantages de se trouver en plein coeur du réseau (proxy) pour mettre en place un moteur de recherche.
Alors pourquoi Iliad qui au travers de Free fait preuve d'une audace et d'un dynamisme incroyables (avez vous vu la petit dernière, la Freebox v5? Elle prend la place que Bill Gates convoite depuis tant d'années: le coeur du foyer numérique!) laisse vivoter Dir.com? Pourquoi ne pas faire interagir ces deux entités? Dir.com utilisant les proxy de Free et Free bénéficiant d'un moteur de recherche qui petit à petit pourrait glisser vers une version personnelle intégrée à la Freebox (bien mieux que le Desktop Search: le Home Search)

Ils pourraient faire un truc terrible chez Free / Dir.com en terme de moteurs de recherche!
Par ma part, plutôt que d'attendre quoi que ce soit de Quaero, mes seuls voeux seraient la création d'un moteur Free.dir
Alors messieurs, qu'attendez-vous?
Moi? ;-)

Mise à Jour le 22 Mai 2006 -- Voir également sur la liste motrech le message de Robert Viseur intitulé "FAI, proxy et moteurs de recherche".