Экспертный промпт может делать ответы ChatGPT и других ИИ хуже

Рубрика: Теория и статистика | Время на чтение: 8 мин.

Исследования показывают, что использование промптов от пользователей «надёжно» снижает точность выполнения некоторых типов задач, но хорошо работает в других категориях.

Экспертный промпт может делать ответы ChatGPT хуже

Использование промптов типа «Вы эксперт» может как улучшить, так и ухудшить производительность. Новое исследование показывает, что подсказки типа «Вы эксперт» улучшают соответствие ожиданиям человека, но могут снизить точность фактов в задачах, требующих больших объёмов знаний, при этом эффект варьируется в зависимости от типа задачи и модели. То есть промпты типа «Вы эксперт» работают лучше в одних типах задач, чем в других.

Оглавление

Экспертные промпты

Промпты типа «Вы эксперт» — распространённый способ формирования реакции больших языковых моделей, особенно в приложениях, где важны тон и соответствие ожиданиям человека. Они широко используются, поскольку улучшают читаемость и восприятие результатов. Учитывая распространённость промптов типа «Вы эксперт», может показаться удивительным, что их фактическое влияние на производительность остаётся неясным, поскольку предыдущие исследования показывают противоречивые результаты, ставя под сомнение эффективность или вредность этого метода.

Тут же исследователи пришли к выводу, что промпты по выбору персон не приносят ни широкой пользы, ни вреда, и что их эффективность зависит от типа задачи.

Было обнаружено:

Они улучшают результаты, связанные с согласованием, такие как тон, форматирование и поведение в целях безопасности.
Промпты по выбору персон ухудшают производительность в задачах, требующих фактической точности и логического мышления.

На основе этого авторы предлагают метод под названием PRISM (Persona Routing via Intent-based Self-Modeling), который избирательно применяет персоны, используя маршрутизацию на основе намерений, вместо того, чтобы рассматривать персоны, как настройку по умолчанию. Их результаты показывают, что промпты по выбору персон работают лучше всего, как условный инструмент и позволяют лучше понять, когда промпты по выбору персон помогают, а когда их следует избегать.

Управление поведенческими сигналами

В третьем разделе статьи исследователи утверждают, что экспертные персоны обладают «полезными поведенческими сигналами», но наивное использование промптов персон приносит столько же вреда, сколько и пользы. Они говорят, что это поднимает вопрос о том, можно ли отделить эти преимущества от вреда и применять их только там, где они улучшают результаты.

Поведенческие сигналы влияют на результаты LLM. Именно эти сигналы являются причиной эффективности промптов персон. Они способствуют улучшению тона, структуры, безопасного поведения и того, насколько хорошо ответы соответствуют ожиданиям. Без них не было бы никакой пользы от промптов персон.

Однако, статья показывает, что те же самые сигналы мешают задачам, которые зависят от фактической точности и рассуждений. Именно поэтому в статье они рассматриваются как нечто, чем нужно управлять, а не максимизировать.

Эти сигналы включают в себя такие элементы, как:

Стилистическая адаптация и соответствие тону: использование профессионального или творческого стиля.
Структурированное форматирование: предоставление пошаговых или технических схем.
Соблюдение формата: помощь модели в следовании сложным структурам, таким как профессиональные электронные письма или пошаговые объяснения STEM-дисциплин.
Следование намерениям: фокусирование модели на основной цели пользователя, особенно в таких задачах, как извлечение данных.
Отказ от безопасности: более эффективное выявление и отклонение вредоносных запросов путём принятия роли «Монитора безопасности».

Плюсы использования персонажа

В исследовании было установлено, что использование промптов, основанных на образах персонажей, оказалось эффективным в пяти из восьми категорий заданий:

Извлечение информации: увеличение баллов на +0,65.
STEM-дисциплины: увеличение баллов на +0,60.
Логическое мышление: увеличение баллов на +0,40.
Письменная работа: улучшение за счёт лучшей стилистической адаптации.
Ролевая игра в роли эксперта в предметной области: улучшение за счёт лучшего соответствия тону.

Использование промптов, основанных на образах персонажей, оказалось эффективным в вышеуказанных категориях, поскольку в них больше внимания уделяется стилю и ясности, чем правильности ответа с точки зрения фактов и знаний.

Также было обнаружено, что чем длиннее и подробнее промпт, основанный на образе персонажа, тем сильнее проявляется стремление к согласованности и безопасности.

Минусы использования персонажа

Напротив, экспертная персона постоянно ухудшала результаты в оставшихся трёх (из восьми) категориях, поскольку она полагается на точное извлечение фактов или строгую логику, а не на стиль и ясность. Причина снижения производительности заключается в том, что добавление подробной экспертной персоны, по сути, «отвлекает» модель, активируя «режим следования инструкциям», который отдаёт приоритет тону и стилю.

Активация экспертных персон происходит за счёт «запоминания фактов». Модель настолько сосредоточена на попытке вести себя как эксперт, что забывает информацию, полученную во время первоначального обучения. Это объясняет снижение точности в отношении фактов и математических вычислений.

Экспертные промпты для определения типа личности показали худшие результаты в следующих трёх категориях:

Математика
Программирование
Гуманитарные науки (запомненные фактические знания)

В статье отмечается, что на одном из тестов на знание (MMLU) точность снизилась с базового уровня 71,6% до 68,0%, даже с «минимальным» типом личности, и упала ещё ниже, до 66,3%, с «длинным» типом личности.

Исследователи объяснили улучшения в области безопасности:

«Более подробные описания персон предоставляют более полную информацию о соответствии, пропорционально усиливая поведение, связанное с настройкой инструкций».

И показали, почему страдает точность фактов:

«Персона ухудшает задачи предварительного обучения.
Во время предварительного обучения языковые модели приобретают такие возможности, как запоминание фактических знаний, классификация, распознавание связей между сущностями и рассуждения без предварительного обучения. Эти возможности могут быть доступны без необходимости настройки инструкций и могут быть нарушены дополнительным контекстом, следующим за инструкциями, например, промптами экспертов».

Что в итоге показало исследование

Исследователи пришли к заключению, что промпты, основанные на персональном образе, постоянно улучшают выполнение задач, зависящих от согласованности, таких как написание текстов, ролевые игры и поведение в отношении безопасности. В то же время это ухудшает показатели в задачах, основанных на знаниях, полученных во время предварительной тренировки, таких как математика, программирование и общие тесты по знаниям.

Они также обнаружили, что чувствительность модели к персонажам зависит от уровня её тренировки. Модели, которые лучше всего оптимизированы для следования инструкциям, более «настроены» (или управляемы), что означает, что они получают наибольший прирост в области безопасности и тона, но при этом страдают от более значительных потерь в точности фактов.

Основные выводы

1. Избирательно используйте промпты, основанные на персональном образе:

не используйте промпты типа «Вы эксперт» по умолчанию;
рассматривайте промпты, основанные на образе персоны, как ситуативный подход (их повсеместное использование сопряжено со скрытыми рисками неточности).

2. Промпты, основанные на образе персоны, эффективны для:

качества текста;
тона;
форматирования и организации;
читабельности.

3. Задачи, для которых промпты, основанные на образе персоны, не приносят пользы, и вместо этого следует использовать нейтральные подсказки для сохранения точности:

проверка фактов;
статистика;
технические объяснения;
логически сложные результаты;
исследования;
SEO-анализ.

4. Запомните эти три вывода:

используйте промпты, основанные на образе персоны, для создания контента, а затем переключайтесь на промпт, не основанный на образе персоны (или более строгий режим), для проверки фактов;
подробные промпты, основанные на образе «эксперта», усиливают тон и ясность, но снижают точность фактов и знаний;
промпты типа «Вы эксперт» могут заставить модель отдавать приоритет правильности звучания, а не фактической правильности.

5. Подберите промпты к задаче:

создание контента: персона помогает;
анализ и проверка: персона вредит.

Наиболее эффективный подход — это не один промпт, а рабочий процесс, в котором промпты меняются, в зависимости от задачи, подобно подходу PRISM, используемому исследователями.

Ссылка на исследование: arxiv.org.