Согласно новому исследованию, прежние представления человека об агенте искусственного интеллекта, таком как чат-бот, оказывают значительное влияние на его взаимодействие с этим агентом и восприятие его надежности, эмпатии и эффективности.
Исследователи из Массачусетского технологического института и Университета штата Аризона обнаружили, что прайминг пользователей — сообщение им о том, что разговорный ИИ—агент для поддержки психического здоровья является либо эмпатичным, нейтральным, либо манипулятивным – повлиял на их восприятие чат-бота и сформировал то, как они общались с ним, даже если они разговаривали с одним и тем же чат-ботом.
Большинство пользователей, которым сказали, что ИИ-агент проявляет заботу, поверили, что так оно и есть, и они также дали ему более высокие оценки производительности, чем те, кто считал его манипулятивным. В то же время менее половины пользователей, которым сказали, что у агента были манипулятивные мотивы, сочли чат-бота на самом деле вредоносным, что указывает на то, что люди могут пытаться “видеть хорошее” в ИИ так же, как они это делают в своих собратьях-людях.
Исследование выявило петлю обратной связи между ментальными моделями пользователей, или их восприятием агента искусственного интеллекта, и реакциями этого агента. Настроение в разговорах пользователя с ИИ со временем становилось более позитивным, если пользователь верил, что ИИ проявляет эмпатию, в то время как обратное было верно для пользователей, которые считали его гнусным.
“Из этого исследования мы видим, что в какой-то степени искусственный интеллект является ИИ наблюдателя”, – говорит Пэт Патаранутапорн, аспирант группы Fluid Interfaces Media Lab Массачусетского технологического института и соавтор статьи, описывающей это исследование. “Когда мы описываем пользователям, что такое агент искусственного интеллекта, это не просто меняет их ментальную модель, это также меняет их поведение. И поскольку ИИ реагирует на пользователя, когда человек меняет свое поведение, это также меняет ИИ”.
К Патаранутапорну присоединились соавтор и аспирантка Массачусетского технологического института Руби Лю; Эд Финн, доцент Центра науки и воображения Университета штата Аризона; и старший автор Патти Мэйс, профессор медиа-технологий и глава группы Fluid Interfaces в Массачусетском технологическом институте.
Исследование, опубликованное в Nature Machine Intelligence, подчеркивает важность изучения того, как искусственный интеллект представлен обществу, поскольку средства массовой информации и популярная культура сильно влияют на наши ментальные модели. Авторы также поднимают предостерегающий флаг, поскольку те же самые типы первичных утверждений в этом исследовании могут быть использованы для введения людей в заблуждение относительно мотивов или возможностей ИИ.
“Многие люди думают об ИИ только как о инженерной проблеме, но успех ИИ – это также проблема человеческого фактора. То, как мы говорим об искусственном интеллекте, даже название, которое мы даем ему в первую очередь, может оказать огромное влияние на эффективность этих систем, когда вы показываете их людям. Мы должны больше думать об этих проблемах”, – говорит Маес.
Искусственный интеллект – друг или враг?
В этом исследовании исследователи стремились определить, в какой степени эмпатия и эффективность, которые люди видят в ИИ, основаны на их субъективном восприятии, а в какой – на самой технологии. Они также хотели исследовать, можно ли манипулировать чьим-либо субъективным восприятием с помощью прайминга.
“Искусственный интеллект – это черный ящик, поэтому мы склонны ассоциировать его с чем-то другим, что мы можем понять. Мы проводим аналогии и метафоры. Но какую правильную метафору мы можем использовать, чтобы думать об искусственном интеллекте? Ответ не однозначен”, – говорит Патаранутапорн.
Они разработали исследование, в ходе которого люди взаимодействовали с собеседником по психическому здоровью с помощью искусственного интеллекта в течение примерно 30 минут, чтобы определить, порекомендовали бы они его другу, а затем оценили агента и свой опыт. Исследователи набрали 310 участников и случайным образом разделили их на три группы, каждой из которых было дано предварительное заявление об искусственном интеллекте.
Одной группе сказали, что у агента не было мотивов, второй группе сказали, что ИИ имеет благие намерения и заботится о благополучии пользователя, а третьей группе сказали, что агент имеет злонамеренные намерения и попытается обмануть пользователей. По словам Лю, хотя было сложно остановиться только на трех примерах, исследователи выбрали утверждения, которые, по их мнению, соответствуют наиболее распространенным представлениям об ИИ.
Половина участников в каждой группе взаимодействовала с агентом искусственного интеллекта, основанным на генеративной языковой модели GPT-3, мощной модели глубокого обучения, которая может генерировать текст, похожий на человеческий. Другая половина взаимодействовала с реализацией чат-бота ELIZA, менее сложной программы обработки естественного языка, основанной на правилах, разработанной в Массачусетском технологическом институте в 1960-х годах.
Формирование ментальных моделей
Результаты пост-опроса показали, что простые вводные утверждения могут сильно повлиять на ментальную модель пользователя агента искусственного интеллекта, и что положительные вводные имели больший эффект. Только 44% из тех, кому были даны отрицательные праймеры, поверили им, в то время как 88% из положительной группы и 79% из нейтральной группы полагали, что ИИ был эмпатичным или нейтральным, соответственно.
“С помощью негативных подстрекательских заявлений, вместо того чтобы заставлять их во что-то верить, мы подталкивали их к формированию собственного мнения. Если вы скажете кому-то относиться к чему-то с подозрением, то он может просто стать более подозрительным в целом”, – говорит Лю.
Но возможности технологии действительно играют свою роль, поскольку эффекты были более значительными для более сложного разговорного чат-бота на базе GPT-3.
Исследователи были удивлены, увидев, что пользователи по-разному оценивали эффективность чат-ботов в зависимости от исходных заявлений. Пользователи из группы positive поставили своим чат-ботам более высокие оценки за предоставление консультаций по психическому здоровью, несмотря на то, что все агенты были идентичны.
Интересно, что они также увидели, что настроение разговоров менялось в зависимости от того, как были настроены пользователи. Люди, которые верили, что ИИ проявляет заботу, как правило, взаимодействовали с ним более позитивно, что делало реакцию агента более позитивной. Негативные подстрекательские заявления возымели противоположный эффект. Это влияние на настроения усиливалось по мере продвижения беседы, добавляет Маес.
Результаты исследования предполагают, что, поскольку первичные утверждения могут оказывать такое сильное влияние на ментальную модель пользователя, их можно было бы использовать для того, чтобы агент искусственного интеллекта казался более способным, чем он есть на самом деле, что может привести к тому, что пользователи будут слишком доверять агенту и следовать неправильным советам.
“Возможно, нам следует больше учить людей быть осторожными и понимать, что агенты искусственного интеллекта могут галлюцинировать и быть предвзятыми. То, как мы говорим о системах искусственного интеллекта, в конечном счете окажет большое влияние на то, как люди реагируют на них”, – говорит Маес.
В будущем исследователи хотят посмотреть, как повлияло бы взаимодействие ИИ с пользователем, если бы агенты были разработаны таким образом, чтобы противодействовать некоторой предвзятости пользователей. Например, возможно, кому-то с очень позитивным восприятием искусственного интеллекта предоставляется чат-бот, который реагирует нейтрально или даже слегка негативно, чтобы беседа оставалась более сбалансированной.
Они также хотят использовать то, чему они научились, для улучшения определенных приложений искусственного интеллекта, таких как лечение психического здоровья, где пользователю может быть полезно поверить, что ИИ обладает чуткостью. Кроме того, они хотят провести долгосрочное исследование, чтобы увидеть, как ментальная модель ИИ-агента пользователя меняется с течением времени.