Как сделать файл robots. txt

Добрый день, друзья!
Продолжаем создавать свой сайт. И сегодня мы поговорим о том, как сделать файл robots. txt. Обсудим, как его скачать, настроить и разместить на сайте. Но вначале поговорим о том, что он из себя представляет и зачем так необходим на сайте или блоге. Но вначале проверьте настроены ли у Вас на сайте постоянные ссылки, как мы делали это ранее, иначе Вы можете закрыть от индексации свои записи и страницы. Проверили? Все в порядке?
Тогда начнем.

Что это за файл и зачем он нужен сайту.
Обычный текстовый файл с набором директив, выполняющий важнейшую функцию путеводителя для поисковых систем на сайте называется robots.txt.
Его основная задача помочь поисковым роботам разобраться в размещенной на сайте информации. Объяснить какие страницы и записи создавались для пользователей и их нужно индексировать и показывать в поиске, а какая часть информации является служебной, закрыта для индексации и показу в поиске не подлежит. О пользе этого файла свидетельствует, то что он есть практически на каждом сайте.

Как выглядит этот файл.
Посмотреть, как может выглядеть этот файл можно на любом сайте. Для этого в поисковой строке после доменного имени сайта ставим курсор, затем вводим слэш и пишем название файла robots.txt В зависимости от вида сайта и его сферы деятельности этот файл выглядит по разному и имеет различное количество запрещающих индексацию директив Disallow.
На своих сайтах я использую файл robots.txt, который нам посоветовали преподаватели школы «Я-блогер» Евгений Вергус и Дмитрий Воробьев. Он широко используется на личных блогах на движке wordpress

Как скачать и отредактировать файл.

Скачайте   файл по этой ссылке

Для этого просто кликаете по ссылке и в открывшемся в браузере окне на яндекс диске нажимаете кнопку «скачать». Обычно при скачивании все папки и файлы сохраняются на компьютере в папке «Загрузки». (У Вас в зависимости от настроек это может быть другая папка.)

Откройте, скачанный файл, как обычно дважды кликнув по нему мышкойОтредактируйте его. Весь набор директив остается без изменения, редакции подлежат лишь две нижние строки Host и Sitemap.

В строке Host после двоеточия нужно указать доменное имя Вашего сайта, Для этого копируем в браузере адрес Вашего сайта. Затем выделяем в файле роботс ссылку на мой сайт и вставляем адрес Вашего сайта, нажав клавиши

Ctrl+V .

Причем на сайтах без SSL сертификата, в скопированной в браузере ссылке на ваш сайт, оставляете только доменное имя,  убрав все лишнее (http:// впереди и / после доменного имени).

Редактируйте внимательно, так как не только наличие лишних символов будет влиять на работоспособность файла. Важно все даже пробел в нужном месте.
Итак правильно строка должна выглядеть следующим образом.

Host: vo-sady-li-v-ogorode.ru

(Host, двоеточие, пробел и доменное имя Вашего сайта без https, двоеточия и слэшей)

В строке Sitemap пишем адрес карты сайта для роботов

( https://vo-sady-li-v-ogorode.ru/sitemap.hml)

строка карты сайта должна выглядеть так

Sitemap: https://vo-sady-li-v-ogorode.ru/sitemap.hml

(Sitemap, двоеточие, пробел и адрес карты Вашего сайта для роботов)

После редактирования файл robots.txt сохраняем на рабочем столе.
Проверяем его. Особенное внимание обращаем на строки которые редактировали, а так же на общий вид файла. ( Все строки должны идти одна за другой. Пустых строк быть не должно.)
Загружаем файл в корневую папку сайта.
Заходим в панель управления хостинга и для того чтобы определить, в какую папку нужно загрузить файл robots.txt переходим на вкладку сайты и смотрим в левой колонке, как называется директория нужного нам сайта. У меня сейчас здесь порядок и все сайты и домены имеют одинаковые имена. Но это может быть и иначе, поэтому смотрите внимательно и определяйте директорию своего сайта правильно.

После того, как Вы определитесь с названием директории сайта перейдите в файловый менеджер

Зайдите вначале в главную папку файлового менеджера, в которой, как в библиотеке находятся корневые папки всех сайтов.Здесь ищем корневую папку нужного нам сайта и открываем ее. Затем заходим в папку

public_ html, в которой находятся все файлы и папки, необходимые для нормальной работы сайта. Именно в нее нам нужно закачать файл robots.txt

Сделать это можно перейдя на вкладку Файл и выбрав в выпадающем списке команду «Загрузить на сервер»В открывшемся окошке выбираем «Прикрепить файл»

Находим на компьютере нужный нам файл, выбираем и открываем его. Затем нажимаем кнопку «Загрузить». Если Вы все сделали правильно, то файл должен появиться в отрытой папке public_html
Осталось проверить его работу. Введите в браузере адрес вашего сайта/robots.txt и нажмите команду Enter. Если файл, отредактированный Вами открылся, то Вы все сделали верно. И файл robots.txt приступил к работе.
В этой статье мы поговорили о том, как сделать файл robots. txt на своем сайте или блоге.
Как сделать карту сайта для людей мы расскажем завтра
Если у Вас есть вопросы по теме пожалуйста задавайте их в комментариях.

А на сегодня я с Вами прощаюсь. Всего Вам доброго.

Татьяна Дмитриевна

Спасибо Вам за то, что поделились статьей в социальных сетях!