Файл robots.txt складається з одна або кілька груп (набір правил). Кожна група складається з кількох правил (також відомих як директиви), одне правило на рядок. Кожна група починається з рядка User-agent, який визначає ціль груп.
А /роботи. txt – це текстовий файл, який інструктує автоматичних веб-ботів про те, як сканувати та/або індексувати веб-сайт. Веб-команди використовують їх, щоб надавати інформацію про те, які каталоги сайтів слід або не слід сканувати, як швидко має бути доступ до вмісту та які боти вітаються на сайті.
txt файл:
- Агент користувача: визначає веб-сканер, до якого застосовується правило. …
- Заборонити: вказує, до яких URL-адрес або каталогів заборонено доступ вказаним веб-сканерам.
- Дозволити: вказує винятки для директив Disallow, вказуючи, до яких URL-адрес або каталогів мають доступ зазначені веб-сканери.
Немає абсолютно ніякої шкоди мати його, і це чудове місце, щоб передати пошуковим системам директиви щодо того, як вони можуть найкраще сканувати ваш веб-сайт. Роботи. txt може бути корисним для запобігання скануванню та індексуванню певних областей або документів на вашому сайті. Прикладами є, наприклад, проміжний сайт або PDF-файли.
txt важливі для оптимізації пошукових систем, давайте обговоримо деякі найкращі практики, рекомендовані Google.
- Створіть файл під назвою robots. …
- Додайте правила до роботів. …
- Завантажте роботів. …
- Перевірте своїх роботів. …
- Використовуйте Open-Source Robots Library від Google. …
- Використовуйте новий рядок для кожної директиви. …
- Використовуйте символи підстановки, щоб спростити інструкції.
Зараз Google використовує роботів. обмеження розміру файлу txt 500 кібібайт (КіБ).