Как мы меряем
Каждая цифра в отчёте прослеживается до сырого ответа движка. Ниже — весь метод, без магии. Хочешь проверить — на демо покажем живой захват и слепки.
1Захват — как обычный покупатель
Мы не дёргаем API моделей: их ответы не совпадают с тем, что видит живой пользователь. Браузер заходит на сайт движка анонимно (без логина и персонализации на трёх поверхностях из четырёх), задаёт вопрос и забирает ответ таким, каким его видит покупатель. Поверхности: Яндекс Алиса, GigaChat, Google AI Mode, DeepSeek.
2Слепок каждого ответа
На каждый захват сохраняются HTML страницы, скриншот и их контрольные суммы (sha256). Любую цифру отчёта можно проследить до конкретного ответа конкретного движка в конкретный день — и показать его сырым.
3Корпус запросов, а не один вопрос
Замер идёт по корпусу из 30 реальных покупательских запросов вертикали («какую CRM выбрать для…», «что лучше…»), каждый движок отвечает на весь корпус ежедневно, с повторами. Один вопрос руками — это анекдот; корпус с повторами — это выборка.
4Честная математика
Сорванный захват (капча, сбой) помечается и не попадает в знаменатель. Каждый прогон начинается с контрольного запроса: если движок отвечает аномально — весь прогон бракуется целиком. Отчёт считается по окну последних 28 дней, чтобы старые ответы не размывали текущую картину.
5«Назван» ≠ «рекомендован»
Разницу между «бренд стоит в списке» и «бренд советуют» определяет LLM-классификатор с задокументированными правилами и голосованием из нескольких прогонов. Его точность мы меряем на размеченном вручную наборе реальных ответов и публикуем клиентам по запросу. Классификатор консервативен: сомневается — не засчитывает рекомендацию. Доля рекомендаций в отчёте скорее занижена, чем завышена.
Чего мы сознательно не делаем
- ChatGPT пока не меряем — он в дорожной карте; в отчётах только то, что реально собирается.
- Не продаём «тренды» на коротких окнах: краткосрочные колебания на наших выборках — шум. Динамику показываем как направление, а не как проценты с точностью до десятых.
- Не обещаем рост продаж или лидов — мы меряем и двигаем видимость и рекомендации в ответах ИИ. Что это даёт вашей воронке, решает ваша экономика.
- Онбординг нового бренда или ниши — ручная работа на 2–3 дня, а не «за 30 секунд». Зато корпус запросов собирается под вашу нишу, а не по шаблону.
Вопросы по методу — hello@seoum.tech. Живой пример отчёта — на главной.