Comment empêcher les moteurs de recherche d'indexer votre site

Si vous avez un site ou une page de développement que vous ne souhaitez pas que les moteurs de recherche indexent, vous pouvez le noter en utilisant un fichier robots.txt. Un fichier robots.txt indiquera aux robots de ne visiter aucune page d'un site.

Blocage de tous les robots sur l'ensemble du site

1. Créez un fichier texte nommé robots.txt
2. Tapez ce qui suit dans le fichier :

User-agent: *
Disallow: / 

3. Enregistrez le fichier texte et placez-le à la racine des fichiers de votre site dans le dossier httpdocs. Voir Comment utiliser FTP. Ce fichier est honoré par les moteurs de recherche légitimes mais peut être ignoré par la conception de code avec une intention malveillante. Pour plus d'informations sur les fichiers robots.txt, vous pouvez visiter cette URL :http://www.robotstxt.org/robotstxt.html.