Что проверяет поисковой робот.

Ранее, мы подробно рассмотрели все возможные виды оптимизации для поискового продвижения сайта. О методах продвижения сайта и seo оптимизации.

Что в первую очередь проверяют роботы поисковых систем и что наиболее важно?

Наличие фатальных ошибок, в результате которых - сайт не индексируется или недоступен. Взлом сайта

• Роботам запрещена индексация сайта. Сайт закрыт к индексации в файле robots.txt При последнем обращении к файлу robots.txt было обнаружено, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.Проверьте robots.txt и снимите установленный запрет.
• Роботы не могут получить доступ к содержимому сайта. Не удалось подключиться к серверу из-за ошибки DNS При попытке скачать данные с сайта не удалось подключиться к серверу из-за ошибки DNS. Если роботы не смогут получить доступ к серверу, сайт может полностью пропасть из поиска. Возможно, пользователи также не могут попасть на сайт.
• Главная страница недоступна или возвращает ошибку. Главная страница сайта всегда должна быть доступна! При обращении к главной странице сайта не удалось получить HTTP-код 200 OK. Поскольку страница недоступна для робота, она может быть исключена из результатов поиска.Проверьте ответ сервера и при необходимости обратитесь к хостинг-провайдеру.
• Сайт взломан или на нем размещены запрещенные материалы. Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.

Наличие критичных ошибок. При таких ошибках сайт доступен, но его индексирование затруднено.

• Ошибки ссылочной массы. Накопленные или же ошибки автоматизации. Большое количество неработающих внутренних ссылок На сайте не работает значительное число внутренних ссылок. Это может затруднять навигацию пользователям.Ознакомьтесь с примерами и исправьте ошибки.
• Сайт "тормозит". Долгий ответ сервера При обращении к серверу среднее время ответа превышает 3 секунды. Долгая загрузка страниц затрудняет работу с сайтом.Проверьте ответ сервера и при необходимости свяжитесь с хостинг-провайдером.

Сайт доступен, ранжируется в поиске, но оптимизирован не полностью и нет продвижения в топ.

• Проверьте наличие xml карты сайта. Нет используемых роботом файлов Sitemap Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования.Обратите внимание на раздел «Файлы Sitemap» в webmastere поисковика.
• Роботом обнаружены ошибки в файлах Sitemap. В одном или нескольких файлах Sitemap обнаружены ошибки, которые могут повлиять на обработку файлов индексирующим роботом.Проверьте файлы Sitemap и внесите необходимые исправления.
• При запросе роботом несуществующих файлов и страниц получен неверный ответ сервера. Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found, что может негативно сказаться на индексировании сайта роботом. Настройте возврат кода 404 на запрос несуществующих страниц.
• Поисковой робот обнаружил ошибки в файле robots.txt. Это может привести к некорректному обходу и индексированию сайта.Проверьте файл robots.txt, внесите исправления.
• При обращении к сайту идет перенаправление на другой, внешний ресурс. Главная страница перенаправляет на другой сайт При обращении к главной странице робот получает перенаправление на другой сайт, что делает невозможным её индексирование.Проверьте ответ сервера.
• При обращении к разным страницам, робот получает одинаковый html код или одинаковое содержимое. Большое количество страниц-дублей На сайте обнаружено большое количество одинаковых страниц, это усложняет индексирование сайта. Проверьте, правильно ли настроены редиректы и корректно ли составлен файл robots.txt.
• В файле robots.txt критическая ошибка или он недоступен.Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.Внесите исправления или добавьте файл robots.txt.
• При ранжировании неправильно определяется зеркало. В файле robots.txt не задана директива Host Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.Добавьте директиву Host в файл robots.txt.
• Ошибка при задании директива Host в файле robots.txt Возможно в директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.Проверьте файл robots.txt и устраните противоречия.
• Ошибка заголовка страниц сайта. Отсутствуют теги "title" Значительная часть страниц не содержит тег "title", или он некорректно заполнен. Это может негативно повлиять на представление сайта в результатах поиска.
• Ошибка заполнения мета тегов страниц сайта. Отсутствуют мета-теги "description" Значительная часть страниц сайта не содержит мета-тег "description", или он некорректно заполнен. Это может негативно повлиять на представление сайта в результатах поиска.
• В течении длительного времени робот получает один и тот же sitemap. Возможно файлы Sitemap давно не обновлялись или сайт "брошен" и на нем не ведутся никакие работы по наполнению и изменению. Проверьте, не нужно ли обновить файлы Sitemap.Методично работайте над содержимым сайта. Отслеживайте текущие тенденции в SEO продвижении. Не забывайте, что правильная структура сайта, удобство для посетителя в поиске информации - это увеличение конверсии и увеличение дохода от ресурса.

Дополнительные рекомендации по оптимизации сайта

• Задайте региональность сайта в вебмастере поисковиков или укажите на сайте явно (в контактах и в шапке сайта) региональную принадлежность.Помните, что региональные сайты ранжируются в поиске выше сайтов у которых более общая региональность (Россия или весь мир).
• Зарегистрируйте сайт в Яндекс.Справочнике и Гугл справочнике. Если у вас есть офисы или филиалы, добавьте их в справочник, чтобы улучшить внешний вид сайта в поиске и региональное ранжирование. Если офисов и филиалов нет, явно укажите «Нет региона» в подразделе «Вебмастер» раздела настройки региональности.Обратите внимание на раздел «Региональность».Помните, что указание адреса офиса или торговой точки увеличивает доверие к сайту.
• Для поисковика Яндекс!Отсутствует файл favicon на сайте Не найден файл с изображением, которое должно отображаться во вкладке браузера и может быть показано возле названия сайта в поиске.
• Оптимизируйте сайт для для мобильных устройств. Это может быть вызвано несколькими причинами — например, на страницах сайта не указан тег , контент не помещается на экран по ширине, присутствуют Flash-элементы, плагины Silverlight или Java-апплеты.Помните, что отсутствие оптимизации сайта для мобильных устройств может привести к полному отсутствию сайта в поиске при просмотре через мобильные устройства и планшеты.