Видимость в AI-поиске / доступ краулеров

Какие AI-краулеры ваш сайт блокирует — и что каждый из них контролирует

Вставьте адрес сайта в @vustSEObot. Бот проверит robots.txt по 10 именованным AI-краулерам и покажет правило для каждого; это техническая проверка доступа, а не прогноз цитирования.

10 именованных краулеров — отдельный результат для каждого.Бесплатно · до 3 проверок в день · без регистрации

Проверить robots.txt в @vustSEObot

10 именованных AI-краулеровТочное правило блокировки3 бесплатные проверки в день

Что показывает проверка

Правило robots.txt — факт, а не обещание результата

У разных краулеров разные имена и назначения. Отчёт показывает, допускает или блокирует их robots.txt, и приводит применимое правило. Решение менять правило остаётся за владельцем сайта.

Открытый доступ не гарантирует появление страницы в ответах, поиске или цитатах.

Образцы

Примеры результата

Проверка объясняет правило для каждого именованного агента, не сводя всё к одному статусу.

Случайная блокировка

В robots.txt

User-agent: GPTBot\nDisallow: /

Что проверить

Бот покажет, что правило относится именно к GPTBot. Это не общий вывод о видимости сайта во всех AI-сервисах.

Отдельные правила

Одна строка — не весь ответ

User-agent: PerplexityBot\nDisallow: /blog/

Проверка по каждому имени

OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot и другие проверяются раздельно: у них могут быть разные правила.

Осознанное решение

До изменения

Неясно, какое правило действует и на кого.

После проверки

Есть конкретная строка robots.txt, которую можно обсудить с владельцем сайта. Проверка не советует автоматически открывать доступ.

FAQ

Частые вопросы

Что именно проверяет бот?

@vustSEObot читает robots.txt и сопоставляет правила с 10 именованными агентами: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Google-Extended, GPTBot, CCBot, Applebot-Extended и Amazonbot. В результате указано найденное правило или его отсутствие.

Проверяет ли это Яндекс или GigaChat?

Нет. Эта проверка относится к перечисленным AI-краулерам и не является проверкой Яндекса или GigaChat.

Гарантирует ли открытый доступ упоминание сайта в ответе ИИ?

Нет. Доступ краулера — проверяемое техническое условие, но не гарантия обхода, индексации, ранжирования или цитирования.

Можно ли пользоваться бесплатно?

Да. Для бесплатного использования действует лимит до 3 проверок в день без регистрации.

Куда дальше

Связанные инструменты

Видимость в AI-поискеОбщий гид по структуре и доступности страниц.GEO-аудитПроверка структуры страницы и доступа краулеров.Генератор FAQ-разметкиЧерновик FAQPage JSON-LD по содержанию страницы.Все инструменты