Estándar de exclusión de robots

Also known as robots.txt protocol, Robots Exclusion Protocol

estándar utilizado para indicarle al rastreador web que no indexe una URL

Key facts

Technology standard.caption: Example of a simple robots.txt file, indicating that a user-agent called "Mallorybot" is not allowed to crawl any of the website's pages, and that other user-agents cannot crawl more than one page every 20 seconds, and are not allowed to crawl the "secret" folder
Technology standard.class: skin-invert-image
Technology standard.status: Proposed Standard
Technology standard.first_published: 1994 published, formally standardized in 2022
Technology standard.website: ,
Technology standard.title: robots.txt
Technology standard.long_name: Robots Exclusion Protocol
Technology standard.image: Robots txt.svg

via Wikipedia infobox

Wikidata facts

Official website: www.robotstxt.org

Article · Español

El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt, es un método para evitar que ciertos bots que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.

Abstract from DBpedia / Wikipedia · CC BY-SA