Robots es un archivo de texto que cuenta con extensión .txt, el cual se crea y se sube a un espacio web. Con él se impide que los robots de ciertos buscadores puedan rastrar el contenido que no se desea que se indexen en los resultados de búsqueda con respecto a determinada web.Es un archivo que sirve para indicar a los rastreadores o arañas (spiders) qué parte o partes no deben ser rastreadas de una web. En este archivo se puede especificar de una manera muy sencilla, qué directorios, subdirectorios o archivos que forman parte de una web que no deberían ser ni rastreados ni indexados por los buscadores.