Googlebot
Sign in to saveAlso known as موقع الميرابي للأدب
Googlebot is the web crawler software used by Google that collects documents from the web to build a searchable index for the Google Search engine. This name is actually used to refer to two different types of web crawlers: a desktop crawler (to simulate desktop users) and a mobile crawler (to simulate a mobile user).
Key facts
- Software.name
- Googlebot
- Software.logo
- Google Search typeface.svgclass=skin-invert
- Software.author
- Software.genre
- Web crawler
- Software.website
- Googlebot FAQ
via Wikipedia infobox
Wikidata facts
- Instance of
- web crawler
- Developer
- Official website
- www.googlebot.com
Show 2 more facts
via Wikidata · CC0
Article · Русский
Googlebot — поисковый робот компании Google, используемый для сканирования мировой сети и пополнения поискового индекса системы Google. Робот начинает сканирование каждого отдельного сайта с получения списка URL-адресов веб-страниц, созданного по результатам предыдущих сеансов, и пополняет его данными из файлов Sitemap; просматривая страницы, робот ищет ссылки (SRC и HREF) и добавляет их в список страниц, подлежащих сканированию. Веб-мастера могут управлять роботом с помощью команды в файле robots.txt или мета-тега <meta name="Googlebot" content="nofollow">; Google в списке своих инструментов для веб-мастеров даёт возможность проверить «видение» сайта роботом. IP-адреса бота время от времени меняются.При сканировании Googlebot указывает user-agent: * Googlebot/2.1 (+http://www.googlebot.com/bot.html) * Googlebot/2.1 (+http://www.google.com/bot.html) * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) * Googlebot-Image/1.0 (паук, сканирующий изображения)
Abstract from DBpedia / Wikipedia · CC BY-SA