Google sucht immer besser und tiefer
Der Googlebot füllt neuerdings automatisch HTML-Formulare aus und kommt so an einen ganzen Haufen weiterer Informationen.
14. April 2008
Der Webcrawler der Suchmaschine Google, der Googlebot, wird immer besser. Neben "normalen" HTML-, Flash- und Java-Sites holt er sich ab sofort auch Infos von Seiten die hinter HTML-Formularen versteckt sind. Dazu füllt der GoogleBot die Formulare ganz einfach automatisch aus. Das berichteten am Freitag Jayant Madhavan and Alon Halevy im "Google Webmaster Central Blog". Das ganze kann durchaus als kleiner Durchbruch angesehen werden, denn HTML-Formulare bieten laut den Entwicklern einen Weg zu grossen Mengen an Daten die "normalen" Suchmaschinen verborgen bleiben
Konkret funktioniert die neue Suchtechnik folgendermassen: Wenn der Bot auf einer für Google interessanten Seite ein "FORM-Element" findet, so kann er dort kleine Abfragen durchführen. Dabei füllt er die vorhandenen Textfelder mit bestimmten Wörtern aus, die er aus dem Kontext der jeweiligen Seite erschliesst. Auch Checkboxen oder Auswahlmenüs sind kein Problem: Hier nutzt der Bot ganz einfach den HTML-Code.
Nachdem alle Werte eingegeben sind, generiert Google die entsprechenden URLs. Sind deren Infos interessant, wird die Seite genauso indexiert wie jede andere. Der Googlebot hält sich bei dieser neuen, tieferen Suche laut den Entwicklern übrigens strikt an die Vorgaben der robots.txt und nofollow- sowie noindex-Anweisungen. (mv)
Konkret funktioniert die neue Suchtechnik folgendermassen: Wenn der Bot auf einer für Google interessanten Seite ein "FORM-Element" findet, so kann er dort kleine Abfragen durchführen. Dabei füllt er die vorhandenen Textfelder mit bestimmten Wörtern aus, die er aus dem Kontext der jeweiligen Seite erschliesst. Auch Checkboxen oder Auswahlmenüs sind kein Problem: Hier nutzt der Bot ganz einfach den HTML-Code.
Nachdem alle Werte eingegeben sind, generiert Google die entsprechenden URLs. Sind deren Infos interessant, wird die Seite genauso indexiert wie jede andere. Der Googlebot hält sich bei dieser neuen, tieferen Suche laut den Entwicklern übrigens strikt an die Vorgaben der robots.txt und nofollow- sowie noindex-Anweisungen. (mv)
Artikel kommentieren
