Robots.txt Generator


Default - Tous les robots sont:  
    
Retardement:
    
Plan du site: (laissez en blanc si vous n'en avez pas) 
     
Robots de Recherche: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Répertoires restreints: Le chemin est relatif à root et doit contenir une barre oblique "/"
 
 
 
 
 
 
   



Maintenant, créez le fichier "robots.txt" dans votre répertoire racine. Copiez le texte ci-dessus et collez-le dans le fichier texte.


Sur Robots.txt Generator

The Robots.txt Generator helps you create a custom robots.txt file for your website to control how search engine bots crawl and index your pages.

This tool is essential for website owners and developers who want to:

  • Allow or block specific search engine crawlers

  • Prevent indexing of sensitive or duplicate content

  • Improve overall SEO and crawl efficiency

Just select the bots you want to allow or disallow, enter the directory rules, and generate your optimized robots.txt file in seconds — no coding required.

Use it to protect your site’s structure and guide search engines the right way!