Будет ли Robots.txt 2.0?
Опубликовал: simeon | November 30, 2007 – 6:31 am
После того, как летом 2006 года произошло несколько судебных разбирательств европейских средств массовой информации с Google по поводу воровства контента, несколько крупных организаций объединились для разработки собственного стандарта протокола, регулирующего доступ поисковым системам к содержимому сайтов.
Спустя год был выпущен Автоматический протокол доступа к контенту – ACAP (Automatic Content Access Protocol). Это протокол расширяющий возможности файла robots.txt (регулирует доступ к файлам на сервере) и метатегов robots (регулируют доступ к конкретным страницам на сайте).
Основные отличительные особенности нового протокола это:
- более явно управляет включением/исключением индексации контента
- позволяет управлять включением/исключением страниц из поискового индекса на определенное время
Например, если раньше команда из robots.txt Disallow просто говорила, что нельзя выдавать содержимое определенных файлов пользователю (но эти файлы можно индексировать и использовать содержимое для внутренних служб поисковой системы), то в ACAP появилась команда crawl, которая позволят полностью запретить индексировать файлы.
К сожалению, ни один из крупных игроков поискового рынка (Google, Yahoo, MSN Live) пока не поддерживает и пока не собирается поддерживать данный стандарт. Это и понятно, им от новых нововведений ничего хорошего не предвидится. Однако, еще пара судебных исков и ситуация может начать меняться.
Извините, обсуждение закрыто.