Контроль индексации при массовом создании сайтов
Контроль индексации показывает, приняли ли поисковые системы сайты, сделанные в рамках массового создания сайтов. Best Boost Partners формирует карты сайта, отправляет страницы, отслеживает, сколько страниц каждого сайта находится в индексе, находит выпавшие сайты и устраняет причину. Работа подходит владельцам сетей, партнёрских проектов и региональных сайтов. Вы получаете таблицу индексации по каждому сайту и журнал проблем с описанием принятых мер.
Что именно мы проверяем и делаем в контроле индексации?
Карты сайта и robots.txt
Генератор создаёт карту сайта и файл robots.txt для каждого сайта и обновляет их при каждой сборке. Мы проверяем, что в карте только страницы с нормальным ответом сервера, открытые для индексации.
Отправка страниц
Сайты добавляются в Google Search Console, туда же отправляются карты сайта. Новые и изменённые страницы передаём на обход порциями, в пределах лимитов поисковой системы.
Мониторинг индекса
По каждому сайту по расписанию фиксируем, сколько страниц отправлено и сколько находится в индексе. Данные берём из Google Search Console и из проверок выдачи.
Серверные логи
По серверным логам смотрим, заходят ли на сайт роботы поисковых систем и какие страницы они запрашивают. С сайтом, куда роботы не заходят, работаем иначе, чем с сайтом, который обходится, но в индекс не попадает.
Поиск выпавших сайтов
Мониторинг отмечает сайт, когда число его страниц в индексе падает или остаётся нулевым. Отмеченные сайты попадают в отдельный список с датой изменения.
Устранение причины
По каждому отмеченному сайту ищем причину: технический запрет, дубли или слабый контент, проблемная история домена, ручные меры. Исправление зависит от причины: от правки конфига до переписанного контента или замены домена.
Что вы получаете по контролю индексации?
- Таблицу индексации: отправленные и проиндексированные страницы по каждому сайту с датами.
- Ресурсы сайтов в Google Search Console с доступом для вашей команды.
- Список сайтов, которые выпали из индекса или не попали в него, с найденной причиной по каждому.
- Журнал исправлений: что и на каком сайте изменено и как отреагировал индекс.
- Скрипт или расписание мониторинга, которыми команда продолжит пользоваться после передачи.
Когда нужен контроль индексации?
- Партия сайтов запущена, и вы не знаете, сколько из них находится в индексе.
- Часть сайтов сети перестала давать эффект, и вы подозреваете, что они выпали из индекса.
- Новые страницы ваших сайтов попадают в поиск медленно или не попадают совсем.
- Вы готовите следующую партию и хотите знать, что пошло не так с предыдущей.
Частые вопросы
Можете ли вы гарантировать, что каждая страница каждого сайта попадёт в индекс?
Нет. Что индексировать, решает поисковая система, и у массовых сайтов часть страниц нередко остаётся вне индекса. Контроль индексации показывает, каких сайтов и страниц в индексе нет и почему, чтобы причину можно было устранить там, где это возможно.
Почему массовые сайты выпадают из индекса?
Чаще всего причина в слабом или почти одинаковом контенте на разных сайтах, в технических ошибках, которые повторил шаблон, или в плохой истории домена. Поисковые системы также применяют меры к целым группам сайтов, когда видят scaled content abuse. Причину мы определяем для каждого сайта отдельно, потому что исправление будет разным.
Что вы делаете с сайтом, который не удаётся вернуть в индекс?
Сайт, который не вернулся в индекс после устранения причин, выводится из рабочего набора. Мы отмечаем это в реестре, а вы решаете, пересобрать ли сайт на другом домене с новым контентом или закрыть его. Оставлять такой сайт связанным с остальными рискованно для сети.
Расскажите о проекте
Заполните то, что уже знаете. Пустые поля не страшны: остальное уточним в разговоре.
Бриф отправлен
Спасибо. Ответим в течение одного рабочего дня.
Режим предпросмотра: обработчик формы ещё не подключён, данные никуда не отправлены.