Эффективность больших языковых моделей

Ipsos провел одно из крупнейших исследований генеративных языковых моделей.
Мы проанализировали более 250 000 сгенерированных ИИ ответов на вопросы с совместным выбором (Conjoint, MaxDiff), чтобы оценить, как разные LLM ведут себя в различных сценариях, и сравнить их результаты с данными реальных респондентов. 
Задачами исследования были комплексная оценка потенциала LLM как альтернативы ответам реальных респондентов при совершении выбора, а также анализ возможностей использования LLM для бизнеса в будущем.
Мы сформулировали и проверили несколько гипотез:

1. LLM способны понять структуру характеристик товара любой сложности 
2. Для решения наших задач существует оптимальная LLM
3. Настройка «температуры» влияет на результат работы LLM
4. Качество формулировки промпта улучшает результат работы LLM 
5. На работу LLM влияет расположение вариантов ответов (positional bias)
6. LLM может сгенерировать различные предпочтения на уровне респондента
7. Обучение LLM с использованием данных от реальных респондентов повышает качество результатов 
8. Результаты, полученные на основе LLM, позволяют сделать аналогичные выводы, что и на основании исследований на реальных респондентах.

Результаты проверки гипотез читайте в нашей статье.