Robots.txt генератор файла карты сайта


По умолчанию - Всем роботам:  
    
Задержка-паука:
    
Sitemap: (Оставьте пустым, если у вас нет) 
     
Поисковые роботы: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Ограниченные каталоги: Путь относится к корню и должен содержать конечную косую черту "/"
 
 
 
 
 
 
   



Теперь, Создайте файл 'robots.txt' в корневой директории вашего сайта. Скопируйте текст содержимого из поля выше.


Сервис онлайн robots.txt генератора

Robots.txt представляет собой текстовый файл Robots.txt, размещенный в корце вашего сайта. Данный документ содержит подробные инструкции для поисковых роботов (поэтому он так и называется) относительно того, что ему надо индексировать, а что – нет. Вам, как вебмастеру, необходимо понимать, что правильная настройка Robots.txt обязательна, если вы хотите корректную и быструю индексацию вашего сайта.
Как создать правильный Robots.txt?


Самое эффективное и быстрое решение для создания правильного Robots.txt – это воспользоваться онлайн сервисом на нашем сайте. В результате работы генератора Robots.txt вы получите текст, который необходимо сохранить в файл под названием Robots.txt и загрузить в корневой каталог вашего сайта.