robots.txt - что это такое, для чего нужен, как использовать
TRANSCRIPT
![Page 1: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/1.jpg)
![Page 2: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/2.jpg)
О докладчике
Миндубаев РамазанTeam Lead SEO TRINETАвтор сервиса iSemanticБлогер
Опыт
![Page 3: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/3.jpg)
Robots.txtЧто, для чего, как
![Page 4: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/4.jpg)
User-agent Disallow Allow *,$,# Host Sitemap.xml Clean-param Crawl-Delay Как проверить Фишки
О чем поговорим
![Page 5: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/5.jpg)
User-agent
![Page 6: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/6.jpg)
User-agent
Основные:• User-Agent: * • User-Agent: Yandex • User-Agent: Googlebot • User-Agent: Mail.RuИныеBad robots
![Page 7: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/7.jpg)
Disallow
![Page 8: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/8.jpg)
Открыт для индексации
Disallow: / #отсутствует Allow: #пустое значение отсутствует
![Page 9: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/9.jpg)
Закрыты сервисные страницы
Мета-тег / robotsКонфиденциальные документы (!)- Смс- Заказы клиентов- Адреса доставки- Контактные телефоны- И т.д.
![Page 10: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/10.jpg)
Закрыты админ страницы
Мета-тег / robotsАдмин страницы:- CMS (!)
![Page 11: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/11.jpg)
Что еще закрыть?
• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения
товаров;• страница с перечнем всех товаров категории;
![Page 12: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/12.jpg)
Что еще закрыть?
• страницы действий;• корзины с товарами;• встроенный поиск;• неоптимизированные страницы сортировки;• неканонические страницы отображения
товаров;• страница с перечнем всех товаров категории;
![Page 13: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/13.jpg)
Что еще закрыть?
• неоптимизированные фильтр страницы;• неоптимизированные выборки фильтров из
ползунков;
![Page 14: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/14.jpg)
Allow
![Page 15: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/15.jpg)
Что открыть?
• Папка с картинками;• Боевые страницы;• Служебные страницы;• Информационные страницы;• Страницы пагинации.
![Page 16: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/16.jpg)
* $ #
![Page 17: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/17.jpg)
Спецсимвол *
* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
![Page 18: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/18.jpg)
Спецсимвол *
* - любая (в т.ч. пустая) последовательность символов;По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
![Page 19: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/19.jpg)
Спецсимвол *
User-agent: *Disallow: /cgi-bin*Disallow: /cgi-bin
![Page 20: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/20.jpg)
Спецсимвол $
$ - отменяет действие *
User-agent: *Disallow: /example$
Закрыт - /exampleОткрыт - /example.html
![Page 21: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/21.jpg)
Спецсимвол #
# - комментарий
![Page 22: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/22.jpg)
Host
![Page 23: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/23.jpg)
Главное зеркало
Host: site.ru
В случае с https
Host: https://site.ru
![Page 24: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/24.jpg)
Sitemap.xml
![Page 25: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/25.jpg)
Карта сайта
Sitemap: http://site.ru/sitemap.xml
Все страницыНепроиндексированные
![Page 26: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/26.jpg)
Clean-param
![Page 27: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/27.jpg)
Clean-param
Для динамических параметры, которые не влияют на их содержимое:• utm;• Id;• ref;Clean-param: gclid&yclid&ymclid&_openstat&frommarket&utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_email&utm_nooverride&
![Page 28: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/28.jpg)
Craw-delay
![Page 29: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/29.jpg)
Clean-param
Минимальной задержки между индексацией страниц
Crawl-Delay: 5
![Page 30: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/30.jpg)
Как составить и проверить
![Page 31: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/31.jpg)
Как составить
User: *Disallow: /zakrilSitemap: http://domen.ruHost: domen.ruClean-param: Наш стандартCrawl-delay: 5https://webmaster.yandex.ru/tools/robotstxt/
![Page 32: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/32.jpg)
Как проверить
Валидаторhttps://webmaster.yandex.ru/tools/robotstxt/
![Page 33: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/33.jpg)
Как проверить
![Page 34: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/34.jpg)
Фишки
![Page 35: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/35.jpg)
Фишки
• .txt• 200 код• Не более 32 кб
![Page 36: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/36.jpg)
Фишки
![Page 37: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/37.jpg)
Фишки
![Page 38: Robots.txt - что это такое, для чего нужен, как использовать](https://reader035.vdocuments.mx/reader035/viewer/2022062302/58835a501a28ab42678b623d/html5/thumbnails/38.jpg)
Отвечу на ваши вопросы
Миндубаев Рамазан | тел.: +7 (981) 103-84-20 e-mail: [email protected]
Санкт-ПетербургГельсингфорсская 2Ател./факс: +7(812) 303-8743
МоскваTверской бульвар, 13тел./факс: +7(495) 545-4522