5 основных моментов, на которые надо обратить внимание

Как уже писали в статьях ранее фундаментом хорошего сайта является его техническая сторона. Грамотная техническая оптимизация позволяет роботам поисковых систем хорошо и быстро индексировать сайт, такой сайт не выдает ошибки и сбои в работе, каждой странице сайта соответствует только один адрес и др.

Разберем 5 основных моментов, на которые обязательно нужно обратить внимание для технической оптимизации сайта.

1. Файл Robots.txt

Текстовый файл robots.txt должен присутствовать в корневой директории каждого сайта. Это первый файл, к которому обращаются роботы при посещении сайта и в котором хранятся инструкции для роботов.

В данном файле можно указать страницы, которые нельзя индексировать – желательно закрывать от индексации системные страницы и страницы с дублированным контентом. Также в файле нужно указать главное зеркало сайта, дать ссылку на карту сайта; указать, как часто роботам можно скачивать информацию с сайта. С помощью данного файла можно передать роботам и другую важную информацию для корректной индексации сайта.

2. Адрес страниц сайта

Проверьте на единообразие адреса всех страниц сайта – они должны иметь одинаковый вид:

• если используются или не используются слеши, то везде единообразно.
  Например, http://site.ru/katalog/ и http://site.ru/cost/ - правильно.
  http://site.ru/katalog и http://site.ru/cost/ - неправильно.
• адреса должны быть полностью на латинице, нельзя мешать русские и латинские слова и буквы в одном адресе. Особенно часто эта ошибка встречается у сайтов в зоне .рф. 
  Например, http://site.ru/katalog/sweetshots/ - правильно,
  http://site.ru/katalog/свитера/ - неправильно.
• Лучше, если в адресах внутренних страниц не встречаются спецсимволы «?»,«&», «=», «@» и др. Т.к. они могут некорректно обрабатываться.

Проверить адреса внутренних страниц на ошибки будет удобно после создания карты сайта.

3. Sitemap, карта сайта

Карта сайта нужна пользователям для удобного поиска информации на сайте и поисковикам для улучшения индексации сайта.

Поисковые роботы с помощью карты сайта видят всю структуру и быстрее индексируют новые страницы.

Пользователи лучше ориентируются по сайту и быстрее находят нужную им информацию.

С помощью файла Sitemap вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

Создать карту сайта можно с помощью различных сервисов, например, xml-sitemaps.com

4. Ошибки сайта

Когда пользователь открывает страницу в браузере (или робот начинает ее сканировать), сервер, на котором находится сайт, отдает в ответ на этот запрос код статуса HTTP, то есть предоставляет информацию о вашем сайте и запрашиваемой странице.

Например, 200 – со страницей все в порядке,
404 – несуществующая страница,
503 – сервер временно недоступен.

Бывает, код статуса отдается неверный. Например, страница рабочая, а статус-код 404, или наоборот, несуществующие страницы отдают код 200. Это нужно обязательно отследить и провести корректную настройку статус-кодов в файле .htaccess.

Особенно важно настроить 404 ошибку. Если страница существует, а сервер при ее запросе сообщает о 404 ошибке, страница не будет проиндексирована поисковиками.

Проверить коды статусов можно с помощью Яндекс.Вебмастера или приложения «Firebug» для браузера Mozilla Firefox.

5. Правильно настроенный редирект

Ошибка, встречающаяся почти на каждом сайте – не настроен 301 редирект с домена, содержащего www в адресе, на домен без www; или наоборот.

Определитесь, какой адрес сайта будет главным и сообщите об этом поисковым системам с помощью файла .htacces. Так как поисковые системы www.site.ru и site.ru могут считать разными сайтами, то в выдачу могут попадать дубли, что создаст сложности с ранжированием в выдаче.

Это только основные моменты, на которые в первую очередь нужно обращать внимание.