Как создать файл robots.txt для сайта

Здравствуйте, друзья! Сегодня разберёмся как создать файл robots.txt для сайта на движке wordpress. Статья предназначена для тех кто ничего об этом не знает.

Файл robots.txt необходим. Особенно для молодых ресурсов. Предназначен он для более быстрого индексирования поисковыми системами. Безусловно, ваш сайт будет проиндексирован и без него. То есть, его отсутствие критичным являться не может. Но в этом случае индексация будет проходить более медленно. Роботы будут обходить весь ваш сайт полностью. Файл robots.txt в мягкой форме показывает им куда заходить не нужно. Таким образом индексация пройдёт быстрей.

Я не буду сейчас грузить ваш мозг лишней информацией. Если вы новичок в деле создания сайтов, вы всё равно ничего не поймёте. Я и сам не очень хорошо понимаю. Подробную информацию можете узнать на сайте Яндекс вебмастер. Если вы и ваш сайт ещё не зарегистрированы на этом ресурсе, то настоятельно рекомендую это сделать. Там есть всё необходимое не только по данному вопросу, но и множество инструментов для оптимизации вашего сайта.  А сейчас я просто расскажу и покажу где взять файл и что с ним делать.

Где взять файл robots.txt

Всё очень просто. Взять его можно с другого сайта. Не надо бояться. Сами вы этот файл не напишите и не отредактируете. Потом, когда наберётесь опыта, возможно, что займётесь этим вопросом. А сейчас просто берёте и копируете с сайта к которому у вас есть доверие. Это нормальная практика для новичков. Многие маститые учителя инфобизнеса в курсах по заработку в интернете на своём сайте предлагают взять этот файл у них. Я предлагаю взять его у меня. Сам я его скопировал с очень достойного ресурса. Работает он без ошибок. Об этом мне регулярно сообщают роботы Яндекса.

Для того чтобы скопировать файл, перейдите на главную страницу моего блога. В адресной строке после букв ru не должно быть больше ничего. Ставите слэш (косая палка) и добавляете robots.txt. Всё, как показано на скриншоте.

Нажимаете на Enter. У вас открывается страница с файлом. Копируете его и вставляете в любой текстовый документ. Я пользуюсь обычным блокнотом wordpad. После этого приступаете к редактированию. Не пугайтесь. Просто в трёх последних строчках нужно мой домен заменить вашим. Обратите внимание на пробелы и интервалы! Это очень важно! Они должны оставаться такими же, как и у меня. После редактирования сохраняете файл к себе на компьютер. Файл должен именоваться robots и никак иначе. Всё. Готовый файл robots.txt у вас есть.

Куда скачивать файл robots.txt

Скачивать файл нужно в корень вашего сайта на хостинге. Я покажу как это делать на примере своего хостинга на Hostland. Это на мой взгляд лучший хостинг провайдер из всех, что у меня были. Я пользуюсь их услугами по нескольким причинам.

1. У них интуитивно понятные панели управления и инструменты;
2. Техническая поддержка отвечает в течении 15-20 минут:
3. Какие-то действия которые я не мог выполнить сам они делали за меня;
4. Технические работы на сервере занимают 20-30 минут и проводятся не часто;

Так что если вы по каким-либо причинам недовольны своим хостинг провайдером, можете смело переносить свой сайт на Hostland.

Итак, заходим на хостинг FTP/Файлы — Файловый менеджер.

Далее ваш домен — htdocs — www. Появляются файлы вашего сайта. Именно сюда нам и нужно добавить robots.txt. Нажимаем на знак загрузить файлы и скачиваем robots со своего компьютера. После скачивания к названию файла robots автоматически добавится txt. На этом работа закончена.

Итак, друзья. Вы узнали как создать файл robots.txt для вашего сайта. Надеюсь, что объяснил вам всё просто и понятно. Если остались вопросы, задавайте их в комментариях. А я с вами прощаюсь, всем удачи и до встречи!