Как проверить, видит ли нейросеть ваш сайт

Прежде чем вкладываться в работы по AI-поиску, стоит выяснить простую вещь: сайт вообще читается? Бывает, что страница закрыта от краулеров, содержимое рисуется скриптом, а разметки нет — и тогда любые тексты пишутся впустую.

Шесть проверок ниже делаются за полчаса и не требуют доступа к серверу.

1. Отдаётся ли текст в коде страницы

Модели и краулеры читают HTML, а не то, что дорисовывает браузер. Откройте исходный код страницы (Ctrl+U) и поищите в нём абзац из середины текста. Нашёлся — хорошо. Не нашёлся — содержимое подгружается скриптом, и для краулера страница почти пустая.

Быстрее из консоли:

curl -s https://example.ru/uslugi/ | wc -c

Если страница с длинным текстом возвращает пару десятков килобайт, а на экране его заметно больше — это тот самый случай. Сайты на 1С-Битрикс обычно отдают текст в HTML, проблема чаще у одностраничников и приложений на фреймворках.

2. Пускает ли robots.txt AI-краулеров

Откройте example.ru/robots.txt и поищите упоминания ботов. Важно различать два типа: одни забирают тексты в обучение, другие читают сайт, когда пользователь задал вопрос, и дают ссылку в ответе.

Имена агентов меняются: компании добавляют новых и разделяют старых. Перед правкой robots.txt сверяйтесь с документацией самих сервисов, а не со статьёй годовой давности.

Отдельная ловушка — запрет обхода вместо запрета индексации. Если страницу нужно убрать из выдачи, закрывать её в robots.txt бесполезно: робот не зайдёт и не увидит запрета. Как это работает, разбирали отдельно.

3. Не блокирует ли краулеров защита

Антибот-сервисы и фильтры хостинга иногда отдают ботам 403 или капчу, хотя в robots.txt всё разрешено. Проверить можно так:

curl -s -o /dev/null -w "%{http_code}\n" -A "PerplexityBot" https://example.ru/

Ответ 200 — страница доступна. 403, 429 или редирект на проверку — краулер до содержимого не доберётся, и в ответах вас не будет независимо от качества текстов.

4. Есть ли разметка Schema.org

Разметка — это то, из чего модель понимает, что вы за компания, что продаёте и кто автор статьи. Найдите в коде страницы application/ld+json и посмотрите, что там за типы.

Минимум для коммерческого сайта: Organization с полем sameAs (ссылки на официальные профили), Service или Product на страницах предложений, BreadcrumbList в навигации, FAQPage там, где есть вопросы и ответы, Article с автором и датами в блоге. Проверить корректность можно валидатором Schema.org или инструментом проверки разметки в Яндекс Вебмастере.

Частая ошибка — размечать то, чего нет на странице. Разметка должна описывать видимое содержимое, иначе это повод для санкций, а не для расширенного сниппета.

5. Есть ли llms.txt и о чём он

Откройте example.ru/llms.txt. Файл необязательный, но если он есть, в нём должна быть карта ключевых разделов со ссылками и строка с адресом карты сайта. Пустой или формальный файл не вредит, но и не помогает.

6. Спросите модели про себя

Последняя и самая показательная проверка. Возьмите вопросы, с которыми к вам приходят клиенты, и задайте их нейросетям — по несколько раз каждый, потому что ответы нестабильны. Записывайте, кого называют и каким по счёту.

Мы прогнали четырнадцать своих вопросов через две модели: нас не назвали ни разу, зато регулярно называли крупных федеральных интеграторов. Подробный разбор, что из этого следует, — в материале про разницу между GEO и SEO.

Что делать с результатами

Первые пять проверок — техническая часть, она закрывается работами по сайту. Шестая показывает положение дел и обычно расстраивает: даже у исправного сайта упоминаний может не быть, потому что модели опираются на внешние источники.

Первые четыре пункта можно проверить сразу и без консоли — экспресс-аудитом по адресу сайта: он смотрит доступ краулерам, разметку, llms.txt и выдаёт балл по направлению AI-поиска. Работы по итогам делаем отдельной услугой, вместе с замером упоминаний до и после.