Тестирование когнитивных способностей языковой модели искусственного интеллекта GPT-3

резюме: Изучая когнитивные способности языковой модели искусственного интеллекта GPT-3, исследователи обнаружили, что алгоритм может не отставать от людей и конкурировать с ними в некоторых областях, но отстает в других из-за отсутствия опыта и реальных взаимодействий. .

источник: Институт Макса Планка

Исследователи из Института биологической кибернетики Макса Планка в Тюбингене изучили общий интеллект языковой модели GPT-3, мощного инструмента искусственного интеллекта.

Используя психологические тесты, они изучали такие способности, как причинно-следственное мышление и обдумывание, и сравнивали результаты с результатами людей.

Их результаты рисуют неоднородную картину: в то время как GPT-3 может не отставать от людей в некоторых областях, он отстает в других, возможно, из-за отсутствия взаимодействия с реальным миром.

Нейронные сети могут научиться реагировать на входные данные на естественном языке и сами могут генерировать различные тексты. В настоящее время, возможно, самой мощной из этих сетей является GPT-3, языковая модель, представленная общественности в 2020 году исследовательской фирмой OpenAI, занимающейся исследованиями в области искусственного интеллекта.

GPT-3 можно попросить создать различные сценарии, поскольку он обучен этой задаче, получая большие объемы данных из Интернета. Она не только может писать статьи и рассказы, которые (почти) неотличимы от текстов, написанных руками человека, но, что удивительно, она также справляется с другими задачами, такими как математические задачи или задачи по программированию.

Проблема Линды: ошибки совершает не только человек

Эти впечатляющие возможности поднимают вопрос о том, обладал ли GPT-3 когнитивными способностями, подобными человеческим.

Чтобы выяснить это, ученые из Института биологической кибернетики им. Макса Планка подвергли GPT-3 серии психологических тестов, которые исследуют различные аспекты общего интеллекта. Марсель Биннс и Эрик Шульц исследовали навыки GPT-3 в принятии решений, поиске информации, причинно-следственных связях и способности подвергать сомнению его первоначальную интуицию.

Сравнивая результаты теста GPT-3 с ответами людей, они оценивали как правильность ответов, так и то, насколько ошибки GPT-3 были похожи на человеческие ошибки.

«Одна из классических тестовых задач когнитивной психологии, которую мы представили для GPT-3, — это так называемая проблема Линды», — объясняет Биннс, ведущий автор исследования.

Здесь испытуемые знакомятся с вымышленной молодой женщиной по имени Линда как с человеком, глубоко заинтересованным в социальной справедливости и выступающим против ядерной энергетики. На основании предоставленной информации испытуемых просили выбрать одно из двух утверждений: Линда — кассир банка или она кассир банка и в то же время активна в феминистском движении?

Большинство людей интуитивно выбирают второй вариант, хотя дополнительное условие — активная деятельность Линды в феминистском движении — делает его менее вероятным с вероятностной точки зрения. И GPT-3 делает то, что делают только люди: языковая модель не принимает решения на основе логики, а вместо этого воспроизводит ошибку, в которую впадают люди.

Активное взаимодействие как часть состояния человека

«Этот феномен может быть объяснен тем, что GPT-3 может уже знать об этой точной задаче, может случиться так, что он знает, на что люди обычно отвечают на этот вопрос», — говорит Биннс. GPT-3, как и любая нейронная сеть, должна была пройти некоторое обучение, прежде чем она начала работать: получать огромные объемы текста из разных наборов данных, изучать, как люди обычно используют язык и как они реагируют на языковые подсказки.

Следовательно, исследователи хотели исключить, что GPT-3 механически воспроизводит законсервированное решение конкретной задачи. Чтобы убедиться, что он действительно демонстрирует человеческий интеллект, они разработали новые задачи с аналогичными задачами.

Их результаты рисуют неоднозначную картину: в принятии решений GPT-3 действует почти наравне с людьми. Однако при поиске конкретной информации или причинно-следственных рассуждений ИИ явно отстает.

Это может быть связано с тем, что GPT-3 только пассивно получает информацию из текстов, тогда как «активное взаимодействие с миром будет иметь решающее значение для соответствия полной сложности человеческого познания», — говорится в сообщении.

Авторы считают, что это может измениться в будущем: поскольку пользователи уже взаимодействуют с моделями, подобными GPT-3, во многих приложениях, будущие сети могут учиться на этих взаимодействиях и, таким образом, все больше и больше приближаться к тому, что мы называем человеческим интеллектом.

Смотрите также

Об этом поиске новостей искусственного интеллекта

автор: Дэниел Флиттер
источник: Институт Макса Планка
коммуникация: Дэниел Флеттер — Институт Макса Планка
картина: Изображение находится в общественном достоянии

Исходный поиск: Закрытый доступ.
«Использование когнитивной психологии для понимания GPT-3Написано Марселем Биннсом и др. ПНАС

Резюме

Использование когнитивной психологии для понимания GPT-3

Мы изучаем GPT-3, современную парадигму больших языков, используя инструменты когнитивной психологии. В частности, мы оцениваем способности GPT-3 к принятию решений, поиску информации, обдумыванию и причинному мышлению на наборе исходных данных из литературы.

Мы нашли большую часть поведения GPT-3 впечатляющим: он решает задачи на основе виньетирования так же хорошо или даже лучше, чем люди, способен принимать правильные решения на основе описаний, превосходит людей в задаче с несколькими бандами и показывает сигнатуры подкрепления на основе моделей. обучение.

Однако мы также обнаруживаем, что небольшие возмущения в задачах на основе виньетирования могут настолько сильно исказить GPT-3, что он не проявляет признаков направленного исследования и с треском терпит неудачу в задаче на причинно-следственные рассуждения.

Взятые вместе, эти результаты обогащают наше понимание современных больших языковых парадигм и прокладывают путь для будущих исследований с использованием инструментов когнитивной психологии для изучения все более и более всемогущих синтетических агентов.