Robots.txtЯндекс за безопасный секс интернет. На самом деле, в свете последних событий, Яндекс призывает правильно защищать свой сайт, а именно речь идёт о файле robots.txt. Яндекс даже сделал ролик по этому поводу.

Однако ролик немного «прост». Многие SEO-шники и вебмастера знают об этом файле, и порой создают файлы «помощьнее» нежели тот, который указан в ролике. Начинающим же, данная информация, надеюсь, будет полезна.

Что ж, ценим видос =)

Предполагается, что вебмастер следит за всеми данными, размещенными на своем сайте – например, за тем, чтобы приватные данные были защищены паролем, или за тем, чтобы туда не попадала внутренняя информация о компании. Вся информация, которая размещена в интернете и никак не защищена, может попасть в поисковые системы. Для того чтобы ограничить доступ к информации для поисковых систем, достаточно задать правила доступа в файле robots.txt протоколом REP.

Однако практика показала, что, несмотря на простоту способов защиты приватной информации, и то, что правила взаимодействия сайтов с поисковыми системами созданы еще в 1994 году, многие вебмастера совершают ошибки. Например, полагаясь на сложность адреса той или иной страницы, никак не защищают информацию на ней. В результате эта информация оказывается открытой и находится в различных поисковых системах, в том числе и в Яндексе.

После известных событий в июле, когда стало очевидно, что не все вебмастера знают об информационной безопасности сайтов и тех данных, которые им доверяют пользователи, мы решили сделать своего рода иллюстрированный хелп. Хотелось рассказать в простой форме о простом инструменте – файле robots.txt, в котором вебмастера прописывают параметры индексирования своего сайта», — прокомментировал запуск ролика Очир Манджиков, пресс-секретарь Яндекса.