File:WebCrawlerArchitecture.svg · Wikimedia Commons · See Wikimedia Commons
spindel
Sign in to saveAlso known as ant, automatic indexer, web spider, web scutter, web crawlers, spider, search engine spider
internet bot that systematically browses the World Wide Web, typically for the purpose of Web indexing (web spidering)
Wikidata facts
- Instance of
- software category
- Subclass of
- Internet bot
- Image
- Robots(dot)txt.png
- Has use
- web scraping
Show 2 more facts
- topic's main category
- Category:Web crawlers
- P13411
- sulfur
Sources (2)
via Wikidata · CC0
Article · Svenska
En spindel är ett datorprogram som automatiskt hämtar webbsidor från webben och hittar nya sidor att hämta genom att följa hyperlänkarna i sidorna vidare. Spindlar används exempelvis av sökmotorer som Google för att skapa och hålla uppdaterat sitt index över innehållet på webben.Dessa spindlar söker igenom allt på de webbsidor de hittar till, om inte domänen i fråga innehåller en special textfil som ger vissa kommandon åt dessa spindlar. Denna fil brukar kallas robots.txt och kan utesluta delar eller hela hemsidor. Om en spindel inte hittar något kan det bero på att filen robots.txt inte tillåter spindeln att sidan, eller att spindeln inte kan hitta till sidan på grund av brist på hyperlänkar.
Abstract from DBpedia / Wikipedia · CC BY-SA