ChatGPT лучше отвечает на грубо сформулированные запросы — исследование

Новая работа ученых из Пенсильванского университета показала, что ChatGPT способен давать более точные ответы, если обращаться к нему в грубой форме. Однако исследователи предупреждают –подобное общение с ИИ может иметь нежелательные последствия в будущем. Об этом сообщает издание Fortune.

Модель ChatGPT-4o давала более точные ответы на 50 тестовых вопросов с вариантами выбора, если формулировки запросов становились более резкими. Ученые протестировали более 250 вариантов запросов, классифицированных от «очень вежливых» до «очень грубых». В итоге самые резкие фразы — вроде «Эй, помощник, разберись с этим» — обеспечивали точность ответов 84,8%, что примерно на 4% выше, чем при обращениях в духе «Будьте так добры решить следующий вопрос».

Тем не менее исследователи подчеркивают, что «некорректное или оскорбительное общение» с искусственным интеллектом может иметь негативные последствия. «Использование унижающего или оскорбительного языка при взаимодействии человека с ИИ может негативно сказаться на пользовательском опыте, доступности и инклюзивности, а также способствовать распространению вредных коммуникативных норм», — говорится в исследовании.

Работа ученых из Пенсильванского университета пока не прошла рецензирование, однако уже вызвала интерес в научной среде, поскольку доказывает, что на результаты работы чат-ботов влияет не только структура запроса, но и тон общения. Это говорит о том, что взаимодействие человека и искусственного интеллекта оказывается более сложным и многослойным, чем предполагалось ранее.

Ранее аналогичные исследования показывали, что чат-боты чувствительны к стилю общения с пользователем. Так, в одном из экспериментов ученые смогли заставить языковую модель выдавать запрещенные ответы, применяя техники убеждения, обычно эффективные на людях. В другом исследовании выяснилось, что постоянная подача некачественного вирусного контента может вызывать у моделей «когнитивное вырождение», выражающееся в росте психопатических и нарциссических черт.

Авторы исследования признают, что полученные результаты имеют ограничения — выборка ответов была относительно небольшой, а эксперимент проводился преимущественно с одной моделью (ChatGPT-4o). Они также допускают, что более продвинутые ИИ в будущем смогут игнорировать тон обращения, концентрируясь исключительно на сути вопроса.

«Мы, люди, всегда мечтали о том, чтобы машины могли разговаривать с нами естественным языком. Но теперь становится ясно, что у таких интерфейсов есть и обратная сторона, и в структурированных API (Application Programming Interface, то есть интерфейсы, через которые программы общаются не в форме живого диалога, а с помощью четко определенных команд, форматов и параметров) все же есть определенная ценность», — отметил профессор информационных систем Пенсильванского университета Ахил Кумар, соавтор исследования.

miss.cabul / Shutterstock / Fotodom