ALIWEB

ALIWEB (Akronym aus Archie Like Indexing for the Web) gilt als die erste Suchmaschine, da einige Vorgänger (Gopher) andere Zwecke verfolgten oder lediglich Indexer waren. So auch The Wanderer, die zwar als Crawler-Suchmaschine galt, jedoch lediglich Adressen und Dokumente sammelte. ALIWEB wurde erstmals im November 1993 von dem Entwickler angekündigt und im Mai 1994 auf der internationalen Konferenz in Genf zum World Wide Web vorgestellt. ALIWEB war anderen Webcrawlern um einige Monate voraus, da sie auch Inhalte der Webseiten indexierte. Dies geschah jedoch nur, wenn man den Index in Form von Stichworten (Metatags) selbst lieferte. Dies gab den Webmastern die Möglichkeit die Begriffe, die die Benutzer zu ihren Seiten führen würden, selbst zu definieren. Einige Webmaster verstanden nicht, wie man die Daten indexieren konnte, und griffen daher eher auf Bot-basierte Suchmaschinen zurück. Nur wenige Personen haben ihre Webseiten bei ALIWEB eingereicht, wodurch die Suchmaschine nicht weit verbreitet war. Martijn Koster, der auch maßgeblich an der Erstellung des Robots Exclusion Standard beteiligt war, erläuterte die Hintergründe und Ziele von ALIWEB am CERN.