spindel

En spindel är ett datorprogram som automatiskt hämtar webbsidor från webben och hittar nya sidor att hämta genom att följa hyperlänkarna i sidorna vidare. Spindlar används exempelvis av sökmotorer som Google för att skapa och hålla uppdaterat sitt index över innehållet på webben.Dessa spindlar söker igenom allt på de webbsidor de hittar till, om inte domänen i fråga innehåller en special textfil som ger vissa kommandon åt dessa spindlar. Denna fil brukar kallas robots.txt och kan utesluta delar eller hela hemsidor. Om en spindel inte hittar något kan det bero på att filen robots.txt inte tillåter spindeln att sidan, eller att spindeln inte kan hitta till sidan på grund av brist på hyperlänkar.