Использование компонента disAllow позволяет обработать код страниц сайта и запретить поисковикам индексацию тех внешних ссылок, которые размещены на вашем веб-ресурсе. Он обрабатывает полностью весь код, в том числе и ссылки, размещенные в футере и в любом месте страницы.
Этот компонент является директивой файла robots txt, и с его помощью можно запретить индексацию указанного URL или содержимого папки. Наличие специального файла robots txt позволяет прописать правила индексации вашего веб-ресурса поисковыми роботами. Изначально в Джумле есть свой такой файл, но часто требуется его грамотное редактирование. При неверном прописывании этого файла повышается вероятность появления дублированных страниц в Joomla, а к дублям крайне негативно «относятся» поисковики.
Принцип работы компонента disAllow
Компонент проверяет ссылки и определяет, является ли какая-либо ссылка внешней. Если он определит, что ссылка действительно ссылается на страницу вашего веб-ресурса или на страницу другого сайта, то он автоматически запрещает индексацию. Помещая ссылку в отдел «<noindex>», компонент disAllow определяет запрет индексации ссылок для Joomla в Яндекс-поисковике. Если же ссылке присваивается параметр «rel=’nofollow'», то индексация автоматически запрещается для любых поисковиков. Кроме того, компонент disAllow может присвоить ссылке параметр «target=’_blank'» для открытия ссылки в другом окне, чтобы пользователь мог оставаться на вашем сайте.
Преимуществом компонента disAllow является то, что он может настраиваться совершенно индивидуально для каждого сайта на Джумле. В его настройках можно перечислить те домены, ссылки на которые не нужно запрещать индексировать поисковикам.
Например, чтобы запретить индексировать файлы, содержащиеся в папке images, компонент прописывается следующим образом: Disallow: /images/. Если вам нужно запретить индексацию любых адресов, которые начинаются с index.php, то прописывание компонента будет выглядеть следующим образом: Disallow: /index.php*. Знак «звездочка» в данном случае обозначает, что запрет относится ко всем аналогичным поисковикам, которые посещают сайт. Нужно иметь ввиду, что этот значок присутствует по умолчанию во всех правилах компонента disallow, даже если вы его не поставили. Отмену этого символа по умолчанию определяет другой символ — $. Другими словами, эти два спецсимвола позволяют ограничить доступ к отдельным страницам или запретить доступ к целому каталогу.
Структура списка с компонентом Disallow не может и не должна быть шаблонной и однотипной для всех сайтов. Внедрение в работу данного компонента является одним из методов оптимизации сайта, и может осуществляться на любом этапе работы с веб-ресурсом.