Принципы создания файла Robots.txt

«Первый старт сайта» продолжает работу по оптимизации сайта. Для этого нам нужно создать текстовый файл robots.txt, ограничивающий путь поисковым роботам при индексации отдельных разделов и страниц  нашего сайта.
Если объяснять, как работает этот файл, то можно привести такой пример: можно ехать на автомобиле по дорогам, которые имеют различные знаки, и тем самым помогают нам сэкономить время, а можно ездить и без знаков, как по лабиринту.

Принципы создания файла Robots.txt

создаем файл Robots.txt

С развитием алгоритмов индексации поисковыми системами, иногда роботы и не обращают внимания на этот файл, потому что  они способны анализировать сайты и без подсказок. Поэтому решение за вами создавать файл robots.txt или нет.

Но большинство, если так можно сказать, «культурных» роботов придерживаются определенного стандарта, который описывает общие правила написания файла robots.txt. Более подробно об этих правилах можно прочитать в руководстве по использованию robots.txt .

Итак, если мы решили закрыть некоторые страницы или части нашего сайта с помощью файла robots.txt, то можно выбрать один из двух способов:

  • Первый - посмотреть файл robots.txt у хорошо развивающегося сайта, скопировать в текстовый блокнот, отредактировать под свой сайт и загрузить в папку сайта на хостинг.
  • Второй – досконально изучить правила и стандарты составления файла robots.txt и разместить на хостинге актуальный для администратора сайта, т.е. для вас файл.

Для тех, кто только начинает свой путь в интернете, подходит первый вариант. Но по себе знаю, что со временем приходит такой момент, когда хочется разобраться в правильном составлении этого файла и узнать, что именно  в нем прописано и для чего. Что означают те слова и символы, которые способны заставить могущественных роботов индексировать или закрыть от индексации только то, что мы им разрешим.

Советы по созданию текстового файла robots.tst:

  1. Чтобы посмотреть как выглядит файл robots.txt вашего сайта или любого другого сайта, нужно в адресную строку после флеша «/» url сайта прописать фразу robots.txt, т.е.в адресную строку браузера нужно вставить такой адрес : http://ваш сайт/robots.txt
  2. Для создания файла robots.txt нужно создать в своем компьютере документ с расширением  txt на своем компьютере
  3. Если вы выбрали первый вариант, то просто скопируйте файл robots.txt понравившегося сайта из браузера и вставьте в текстовый редактор созданного документа и замените в нем адрес чужого сайта на свой.
  4. Если же вы решили скрупулёзно отточить свои знания и составить директивы индексации своего сайта для роботов самостоятельно,  то первым делом прочитайте инструкцию по файлу robots.txt от Яндекса
  5. Я прочитала много статей в интернете о составлении файла robots.txt. Скажу честно, для моего понимания сначала было тяжеловато. Поэтому возвращалась к этому вопросу все снова и снова. И вот исследование Сергея Куприянова в статье «Актуальный файл robots.txt 2012» , наконец-то поставило все на свои места. Очень рекомендую выделить время и вдумчиво проследить за тщательными размышлениями автора. Не пропустите и комментарии к этой статье.
  6. После того, как вы составите свой файл, его нужно будет разместить в корневом каталоге хостинга. Как это сделать видео здесь.
  7. И теперь пришло время проверить правильность самого файла с помощью анализатора webmaster yandex (в статье Сергея об этом тоже говорится подробно).

Я решила не переписывать все шаги по созданию файла robots.txt хорошо объясненные в руководстве поисковых систем, да и потому, что со временем эти стандарты будут меняться. Поэтому настоятельно рекомендую самостоятельно изучить вопрос принципа создания текстового файла robots.txt и при необходимости или изменении стандартов корректировать его, для того чтобы была возможность эффективно работать со своими сайтами.

@М.Антонова

 

Статьи на эту тему

16 комментариев

  1. С роботом конечно лучше, чем без него. А вы знаете, что ученики СтартАпа объединяются и зарабатывают хорошие деньги из интернета. Присоединяйтесь к нам и вы, и все желающие — чем больше команда, тем больше денег. Всё обучение по скайпу за полчаса (мой скайп: alekseiwww75). Сделайте первый шаг к безбедной жизни-позвоните мне!Всегда рад видеть вас на сайте http:// vsenarodnaya-medicina.ru

  2. Хорошо, что ТЦ ТВОЙ СТАРТ даёт готовый «роботс.тхт». Тема не простая для тех кто не понимает в индексации и кодах. Иначе пассивного траффика не видать.

    • Алексей, пока у меня стоял не совсем правильный файл robots.txt, который рекомендовали на школе, ни на одном из моих сайтов трафика почти не было. Изменив файл, пошли читатели и с поисковиков. Новичкам очень сложно, но со временем нужно вникать и в такие тонкости.

      • Марина, у меня та же история с этим файлом: в школе дали с ошибками, поменяла совсем недавно, в августе, когда вдруг начал падать рейтинг в LiveInternet. Но вот что странно: как раз к августу (со старым robots.txt) пришла с местом в рейтинге 8 тыс., а за месяц скатилась до 24 тыс. — при всех тех же методах работы. Поменяла этот файл, но падение продолжается, т.е. робот действительно не причём. Разбираюсь теперь с сайтом с помощью разных ресурсов, попробую и Ваши советы перечитать, поставила в закладки. Спасибо.

  3. Марина, привет!
    Приятно видеть на вашем сайте ссылку на мою статью об актуальном файле robots.txt.
    Совершенно случайно здесь оказался И посмотрел ваш robots.txt.
    У меня есть замечания.
    Директиву Host корректнее отделить от группы директив пустой строкой, эта директива является межсекционной (вы даёте ссылку на источник от Яндекса, там и увидете).
    А директиву
    User-agent: Mediapartners-Google
    можно и не прописывать, вы ведь не уточняете для бота Mediapartners-Google параметры индексации, следовательно, «всё разрешено».
    Поздравляю с наступающим 2013 годом!

    • Сергей, спасибо вам за внимание к моему блогу.
      Директиву User-agent: Mediapartners-Google я прописала по требованию гугла.
      Пустую строку пропишу.
      За замечания спасибо.
      И вас с Новым годом!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *