4. Wie Suchmaschinen funktionieren (S. 28-29)

Das primäre Interesse von Google, Yahoo und anderen Suchmaschinenbetreibern gilt dem Aufbau umfassender, interessanter und einfach zugänglicher Informationsangebote.

Über die Website des Suchmaschinenanbieters kann der Benutzer über eine Stichwortsuche oder über Verzeichniskategorien den Inhalt der Suchmaschinendatenbank abfragen. Suchmaschinen erledigen dabei im Wesentlichen folgende Aufgaben:

- das kontinuierliche Sammeln von frei zugänglichen Online- Dokumenten, u. a. HTML-Texten, Bildern oder PDF-Dateien mittels Spiderprogrammen,

- Aufbereitung der gefundenen Dokumente für die inhaltliche Stichwortanalyse, Keyword-Indexierung der Dokumente für eine rasche Datenwiedergewinnung bei passenden Suchanfragen,

- das Beantworten von Suchabfragen durch Auswahl von relevanten Dokumenten für das Ergebnislisting.

Spider sammeln Dokumente im Web

Suchmaschinen sammeln mittels spezieller Browserprogramme, den so genannten Spidern, Searchbots oder Crawlern, laufend Dokumente aus dem Web. Beim Besuch des Spiders werden ausgewählte Webseiteninhalte teilweise oder zur Gänze übernommen und für die weitere Verarbeitung aufbereitet und gespeichert. Zusätzlich kontrolliert der Spider auch, ob bereits gespeicherte Dokumente geändert worden sind bzw. überhaupt noch existieren. Durch den regelmäßigen Vergleich zwischen dem eigenen Datenbestand und den aktuellen Daten auf Ihrer Website stellt die Suchmaschine die Qualität ihrer Daten sicher.

Häufigkeit und Dauer der Spiderbesuche werden durch den Suchmaschinenbetreiber mittels unterschiedlicher Kriterien festgelegt. Grundsätzlich gilt: Je öfter Sie Ihre Webseiten mit relevanten Inhalten aktualisieren, desto beliebter wird Ihre Adresse bei den Suchmaschinenbots. Als Betreiber einer Website haben Sie auf die Frequenz der Webcrawlerbesuche auch dann einen Einfluss, wenn Sie Ihre Seite über spezielle, kostenpflichtige Eintragungsservices (Paid Inclusion Services) angemeldet haben.

Aufbereitung und Indexierung der Daten

Die vom Spider übertragenen und gespeicherten Daten werden anschließend für die automatische Keywordanalyse aufbereitet. Bei diesem Prozess werden aus den gespeicherten Dokumenten nicht relevante Textteile, z.B. Programmcode, eliminiert und der verbleibende Rest für die spätere Auswertung in ein einheitliches Datenformat gebracht. Übrig bleibt eine bereinigte Form des Dokuments, bestehend aus einzelnen Zeichenfolgen und für die spätere Auswertung wichtigen Struktur- und Formatinformationen. Im nächsten Schritt werden aus den aufbereiteten Daten mittels unterschiedlicher Verfahren einzelne Begriffe gewonnen. Oberstes Ziel bei der Datenanalyse ist die Gewinnung von Stichwörtern bzw. Schlüsselbegriffen, die dazu geeignet sind, den Inhalt des Dokuments bestmöglich zu beschreiben.

Dabei werden für das Ranking der Begriffe meist folgende Merkmale berücksichtigt und gespeichert:

- absolute und relative Häufigkeit eines Begriffs,
- Position des Stichworts im Dokument und in Bezug auf andere Stichworte im Dokument,
- Formatierungsmerkmale der Keywords, wie Fettdruck oder Überschriften,
- HTML-Element, in dem der Begriff aufscheint, z.B. Linktext oder alternative Bildbeschreibung.