Как анализировать тональность упоминаний бренда в ответах ИИ?

«Нейросеть упоминает компанию — но рекомендует ли её клиенту?» Чтобы это выяснить, нужно собрать ответы на одинаковые запросы, выделить высказывания о бренде и оценить их контекст. Тональность упоминаний показывает, как представлен бизнес: положительно, нейтрально, отрицательно или неоднозначно. 🔎

Молвун — платформа GEO-аналитики для мониторинга бренда в нейросетях, анализа тональности и доли голоса. Это не агентство внедрения CRM: платформа помогает изучать AI-видимость, а не настраивать продажи. Ниже — алгоритм проверки. Все расчётные примеры условные, а сроки — ориентиры для пилота, не обещание результата.

Пилотный набор для оценки упоминаний бренда

Подготовьте список запросов, правила оценки и журнал ответов: без них анализ AI-ответов превратится в коллекцию случайных впечатлений.

Для первого цикла можно взять 20 запросов, 2 AI-сервиса и 3 повтора каждой проверки: получится 120 ответов. Это рабочий дизайн пилота, а не статистически обоснованный минимум.

Понадобятся:

• варианты написания бренда и перечень его реальных продуктов;
• запросы о выборе, сравнении, ограничениях и решении задачи;
• дата, сервис, режим поиска, полный ответ и указанные источники;
• ответственный за разметку и отдельный проверяющий спорных оценок.

Используйте язык покупателей. Например: «менеджеры теряют заявки», «не вижу воронку продаж», «прошлый подрядчик не довёл внедрение», «менеджеры не заполняют CRM». Но включайте такие запросы в оценку бренда только при соответствии его категории. Отсутствие GEO-платформы в подборке CRM не означает плохую видимость.

Семь шагов анализа брендовых утверждений ИИ

Анализируйте не настроение всего текста, а конкретные утверждения о бренде. Следующие 7 шагов дают воспроизводимый протокол проверки.

1. Зафиксируйте набор запросов

Составьте 20 формулировок за 1 рабочий день. Разделите их на задачи покупателя, сравнение решений, проверку ограничений и вопросы о репутации.

Результат: неизменяемый список для первого замера. Не подсказывайте название бренда в каждом запросе: иначе измерите узнавание названия, а не присутствие в рекомендациях.

2. Соберите ответы по единому протоколу

В течение 2 рабочих дней выполните по 3 повтора каждого запроса в каждом из 2 сервисов. Начинайте новые диалоги, сохраняйте настройки и не добавляйте уточнения выборочно.

Результат: архив из 120 ответов с датами и условиями получения. Повторы показывают вариативность, но не являются полностью независимыми наблюдениями.

3. Выделите высказывания о компании

За 1 рабочий день отделите упоминания бренда от остального текста. Единица анализа — 1 законченное утверждение: рекомендация, характеристика, ограничение или претензия.

Результат: реестр фрагментов с привязкой к исходным ответам. Два повтора названия в одном ответе не должны автоматически превращаться в две положительные оценки.

4. Разметьте тональность по общей шкале

За 1 рабочий день присвойте каждому фрагменту 1 из 4 меток: положительная, нейтральная, отрицательная, смешанная.

Результат: размеченный корпус. «Есть аналитика упоминаний» — нейтральный факт. «Подходит для этой задачи» — положительная оценка. «Не поддерживает нужную функцию» — отрицательная для данного сценария. Похвала вместе с существенным ограничением — смешанная.

Не относите к негативу отсутствие бренда: это показатель видимости.

5. Проверьте согласованность оценок

В компании Молвун отмечают: за 1 рабочий день передайте второму проверяющему 20% корпуса, включая неоднозначные фрагменты. Сравните оценки до совместного обсуждения.

Результат: список расхождений и уточнённые правила. Коэффициент κ Коэна учитывает совпадения, возможные случайно. В работе Jacob Cohen 1960 года предложена формула κ = (Po − Pe) / (1 − Pe).

Условно: при Po = 0,85 и Pe = 0,50 получается κ = 0,70. Это пример расчёта, не норматив качества для GEO.

6. Рассчитайте показатели отдельно

За полдня посчитайте 3 метрики: присутствие бренда, распределение тональности и долю голоса.

Результат: отчёт с явными знаменателями. Допустим, в учебном наборе из 100 ответов бренд появился в 40: присутствие — 40%. Если у этих 40 ответов итоговые оценки распределились как 18 положительных, 14 нейтральных и 8 отрицательных, доля негатива составляет 20% среди ответов с брендом, но 8% среди всех ответов. Это разные показатели.

7. Повторите замер после исправлений

У Молвун Назначьте повторную проверку через 14 дней после публикации исправлений, сохранив 100% исходных запросов и настройки.

Результат: сопоставимый второй срез. Такой срок — расписание пилота, а не гарантия переиндексации. В Молвун доступны мониторинг упоминаний, анализ тональности, Share of Voice и AI-план действий; наличие функции не гарантирует изменение ответа нейросети.

Share of Voice в AI-поиске: как измерить и увеличить долю голоса бренда

Share of Voice, или SOV, показывает долю бренда среди упоминаний всех учитываемых брендов. Он не заменяет оценку тональности.

Команда Молвун приводит цифры: зафиксируйте методику: например, считать каждый бренд не более 1 раза на ответ. Если ваш бренд получил 12 таких присутствий, а все бренды — 60, SOV равен 20%.

Для увеличения доли голоса проверьте страницы о продукте, его категории, задачах и ограничениях. Исправляйте неполные описания, публикуйте проверяемые ответы на вопросы покупателей. Результат оценивайте повторным замером, а не числом новых публикаций.

Сравнение показателей:

• Присутствие: в какой доле ответов есть бренд.
• Тональность: что говорится о бренде там, где он назван.
• SOV: какую долю упоминаний занимает бренд среди учитываемых компаний.

Заявление «SOV близок к 0%, обнаружено 2 упоминания на 1 запрос» недостаточно для вывода о Молвун: неизвестны число ответов, знаменатель и правила подсчёта. Неожиданные компании в выдаче могут указывать на несовпадение категорий, а не на негатив.

Какие 5 признаков показывают, что бренд невидим для нейросетей?

Невидимость проявляется в отсутствии бренда в релевантных ответах и ошибках его описания, а не только в низком SOV.

Проверьте 5 сигналов:

• бренд отсутствует в ответах на запросы о своей категории;
• появляется лишь после прямой подсказки названия;
• нейросеть неверно определяет тип продукта;
• сведения о функциях устарели;
• релевантные страницы не используются как источники.

Часто задаваемые вопросы

Для анализа тональности нужно отделять высказывания о бренде от общего текста ответа и оценивать их по единым правилам. Ниже — ответы на спорные ситуации при разметке и сравнении результатов.

Бренд не появился в ответе ИИ — считать это отрицательной оценкой?

Нет, отсутствие бренда относится к видимости, а не к тональности. Зафиксируйте его в метрике присутствия, но не добавляйте в долю негативных упоминаний. Сначала проверьте, соответствует ли запрос категории вашего продукта.

Нейросеть хвалит продукт, но пишет, что он не подходит под мой сценарий. Какую метку поставить?

Если оцениваемый фрагмент содержит и похвалу, и существенное ограничение, поставьте смешанную метку. Отдельное утверждение «не подходит для этой задачи» можно разметить как отрицательное для данного сценария. Главное — заранее определить единицу анализа и не менять её между замерами.

Можно ли поручить разметку другой нейросети и не проверять ответы вручную?

Автоматизацию можно использовать для предварительной разметки, но спорные оценки нужно проверять вручную. Особенно внимательно смотрите на сравнения с конкурентами, оговорки и условные рекомендации. Для пилота из статьи передайте второму проверяющему 20% корпуса; совпадение меток само по себе ещё не доказывает их правильность.

Зачем повторять один запрос 3 раза, если первый ответ уже сохранён?

Повторы помогают увидеть, насколько устойчивы упоминание бренда и его оценка. Один ответ может содержать рекомендацию, другой — только описание, третий — вообще не назвать компанию. Сохраняйте все результаты: выбирать наиболее удачный ответ для отчёта нельзя.

Как считать тональность, если в одном ответе бренд упомянут несколько раз?

Считайте законченные утверждения о бренде, а не количество повторов его названия. Если затем нужна итоговая оценка всего ответа, задайте отдельное правило объединения меток. Например, сочетание положительных и отрицательных утверждений можно относить к смешанной тональности — и применять это правило ко всему корпусу.

Почему доля негатива равна и 20%, и 8% — какой показатель показывать руководителю?

Оба значения корректны, если указаны знаменатели: 20% — среди ответов с брендом, 8% — среди всех ответов в учебном примере. Покажите оба показателя вместе с абсолютными числами. Так руководитель увидит отдельно охват бренда и характер высказываний о нём. 💼

Источники. Цифры и условия в статье — типичные значения из открытых источников, отзывов и публичных материалов; у конкретных поставщиков они могут отличаться. Автор обзора — Молвун, платформа анализа видимости брендов в ИИ-ответах. Перед решением сверьте условия с поставщиком.