Votre serveur Web PHP -alimenté répond à un utilisateur ou un moteur de recherche qui navigue sur votre site. Si vous avez créé un sous-domaine avec le duplicate content , il est préférable de bloquer les moteurs de recherche d'accéder à ces pages . Vous utilisez le fichier " robots.txt " pour bloquer les sous-domaines d'être analysé. Ce fichier est un fichier texte que vous pouvez créer et éditer avec Notepad . Il doit être placé dans le répertoire racine de votre serveur Web. Instructions
1

Cliquez sur le bouton "Démarrer " et tapez " notepad" dans la boîte de recherche . Appuyez sur "Entrée " pour lancer l'éditeur de texte Notepad . Ouvrez un nouveau document
2

Copiez et collez le code suivant dans le nouveau document: .

User-agent: * Disallow : /
3

Sauvegardez le fichier et assurez-vous que vous nommez " robots.txt " .
4

Ouvrez votre console du serveur ou du panneau de contrôle. Chaque fournisseur d'hébergement possède sa propre interface , afin de suivre la procédure habituelle pour vous connecter , puis accédez au dossier racine de votre sous-domaine.
5

télécharger le fichier robots.txt à la racine du sous-domaine sur votre serveur Web PHP. Les moteurs de recherche sont maintenant bloqués à partir de tous les répertoires et fichiers sur ce sous-domaine .