Yahoo hat seinen Webcrawler überarbeitet
Bei Yahoo grast jetzt Slurp 3.0 das World Wide Web nach indizierungswürdigen Informationen ab.
15. April 2008
Soeben hat Google seinen Crawler mit neuen Features ausgestattet, nun folgt auch die Konkurrenz. Seit Montag werkelt bei Yahoo im Hintergrund die neue Version 3.0 des Web-Crawlers Slurp. Dies teilen Sharad Verma und Yoram Arnon von Yahoo Search in einem Blog-Eintrag mit. Man habe die letzen Wochen die Infrastruktur auf die neue Crawler-Version hin in einigen Punkten angepasst und nun mit dem Rollout begonnen.
Irgendwelche Details zu den Neuerungen verraten die Autoren nicht, ausser dass Slurp seine Crawling-Aktivitäten nun mit einem wesentlich kleineren Satz von IP-Adressen, aber immer noch von der Domain crawl.yahoo.net aus beginne und als User Agent "Yahoo! Slurp/3.0." publiziere. Bestehende robots.txt-Direktiven werden weiterhin berücksichtigt, mit einem Ausnahmefall: Wer im robots.txt-File Direktiven plaziert hat, die explizit auf Version 2 von Slurp verweisen, muss diese auf die neue Ausgabe anpassen oder am besten die Versionsnummer gleich ganz weglassen. (ubi)
Irgendwelche Details zu den Neuerungen verraten die Autoren nicht, ausser dass Slurp seine Crawling-Aktivitäten nun mit einem wesentlich kleineren Satz von IP-Adressen, aber immer noch von der Domain crawl.yahoo.net aus beginne und als User Agent "Yahoo! Slurp/3.0." publiziere. Bestehende robots.txt-Direktiven werden weiterhin berücksichtigt, mit einem Ausnahmefall: Wer im robots.txt-File Direktiven plaziert hat, die explizit auf Version 2 von Slurp verweisen, muss diese auf die neue Ausgabe anpassen oder am besten die Versionsnummer gleich ganz weglassen. (ubi)
Artikel kommentieren
