Эксперт Amnesty International Мередит Бруссард: «Расизм, сексизм и конкурентоспособность — системные проблемы» | искусственный интеллект (ИИ)

МЭредит Бруссар Он журналист данных и академик, чьи исследования сосредоточены на предвзятости в искусственном интеллекте (ИИ). Она была в авангарде повышения осведомленности и била тревогу по поводу неконтролируемого ИИ. ее предыдущая книга, Нет искусственного интеллекта (2018) ввел термин «техно-шовинизм» для описания слепой веры в превосходство технических решений для решения наших проблем. Снято в документальном фильме Netflix закодированное смещение (2020), в котором исследуется, как алгоритмы кодируют и распространяют дискриминацию. ее новая книга более Через: Противостояние предвзятости по расе, полу и способностям в технологиях.. Броссар — адъюнкт-профессор Института журналистики Артура Картера при Нью-Йоркском университете.

Сообщение о том, что предвзятость может быть встроена в наши технологические системы, на самом деле не ново. Зачем нам эта книга?
Эта книга о том, как помочь людям понять реальный социальный вред, который могут нанести технологии. У нас был взрыв отличной журналистики и научных исследований об алгоритмической предвзятости и вреде, который несут люди. Я стараюсь поднимать эти отчеты и размышления. Я также хочу, чтобы люди знали, что теперь у нас есть способы измерения предвзятости в алгоритмических системах. Это не совсем неизвестные черные ящики: проверки существуют и могут быть проведены.

Почему проблема «больше, чем ошибка»? Если алгоритмы могут быть расистскими и сексистскими, потому что они обучены использовать предвзятые наборы данных, которые не репрезентативны для всех людей, не является ли ответ просто более репрезентативными данными?
Неисправность относится к чему-то временному, что можно легко исправить. Я бы сказал, что расизм, сексизм и бессилие — это системные проблемы, встроенные в наши технологические системы, потому что они скрыты в обществе. Было бы неплохо, если бы исправление содержало больше данных. Но дополнительные данные не исправят наши технологические системы, если основной проблемой является общество. Возьмем алгоритмы одобрения ипотеки, которые Были найдены На 40-80% чаще отказывают цветным заемщикам, чем их белым коллегам. Причина в том, что алгоритмы обучались на данных о том, кто брал ипотеку в прошлом, а в США существует долгая история дискриминации в кредитовании. Мы не можем исправить алгоритмы, снабжая их лучшими данными, потому что лучших данных нет.

Вы утверждаете, что мы должны быть более избирательными в отношении технологий, которые мы допускаем в нашу жизнь и общество. Должны ли мы когда-либо отвергать любую технологию, основанную на искусственном интеллекте, которая кодирует предвзятость?
Сегодня искусственный интеллект присутствует во всех наших технологиях. Но мы можем требовать, чтобы наши технологии работали хорошо — для всех — и мы можем сделать осознанный выбор в отношении того, будем ли мы их использовать.

Я страстно желаю выделиться в Закон Европейского Союза об искусственном интеллекте который делит использование на высокий и низкий риск в зависимости от контекста. Распознавание лиц с низким уровнем риска может использовать его для разблокировки телефона: ставки невелики — используйте код доступа, если он не работает. Но распознавание лиц в полиции может быть очень рискованным использованием, которое необходимо регулировать или, что еще лучше, вообще не публиковать, потому что оно приводит к ложным арестам и не очень эффективно. Это не конец света, если вы не используете свой компьютер для чего-то. Нельзя считать, что технологическая система хороша, потому что она есть.

Существует энтузиазм в отношении использования искусственного интеллекта для диагностики заболеваний. Но расовая предвзятость также извлекается, в том числе из нерепрезентативных наборов данных (например, системы искусственного интеллекта для лечения рака кожи). Это, вероятно, лучше всего работает на более светлой коже, так как это в основном то, что было в тренировочных данных). Должны ли мы попробовать Чтобы установить «приемлемые пороги» предвзятости в медицинских алгоритмах, Как некоторые предложили?
Я не думаю, что мир готов к такому разговору. Мы все еще находимся на уровне необходимости повышения осведомленности о расизме в медицине. Нам нужно сделать шаг назад и исправить кое-что в обществе, прежде чем мы начнем замораживать его в алгоритмах. Расистскую резолюцию, закрепленную в законе, становится трудно увидеть или искоренить.

У вас диагностирован рак молочной железы, и вы прошли успешное лечение. После постановки диагноза вы экспериментировали с прогоном маммограмм через ИИ с открытым исходным кодом для обнаружения рака и обнаружили, что он действительно выявляет рак молочной железы. Это сработало! Такие отличные новости?
Было здорово видеть, как ИИ рисует красную рамку вокруг контрольной области, где была моя опухоль. Но из этого опыта я узнал, что диагностический ИИ — это гораздо более простой инструмент, чем я мог себе представить, и здесь есть сложные компромиссы. Например, разработчики должны определиться с показателями точности: больше ложных срабатываний или ложных отрицаний? Они предпочитают первое, потому что считается худшим пропустить что-то, но это также означает, что если у вас есть ложноположительный результат, он попадает в диагностический конвейер, что может означать недели паники и инвазивного тестирования. Многие люди представляют себе гладкое будущее с искусственным интеллектом, в котором машины заменят врачей. Мне это не кажется заманчивым.

Есть ли надежда, что мы сможем улучшить наши алгоритмы?
Я оптимистично отношусь к потенциалу алгоритмического аудита — процесса просмотра входных и выходных данных и кода алгоритма для их оценки на предмет предвзятости. я закончил некоторые работы на этом. Цель состоит в том, чтобы сосредоточиться на алгоритмах, поскольку они используются в определенных контекстах, и решить проблемы всех заинтересованных сторон, включая членов пострадавшего сообщества.

Чат-боты с искусственным интеллектом стали мейнстримом. Но технология также пронизана предвзятостью. Брандмауэры были добавлены в ChatGPT OpenAI Легко обойти. Где мы ошиблись?
Хотя многое еще предстоит сделать, я ценю ограждения. Раньше такого не было, так что это прогресс. Но нам также нужно перестать удивляться, когда ИИ ошибается очень предсказуемым образом. Проблемы, которые мы видим с ChatGPT, были ожидаемо и написано о исследователями этики ИИ, в том числе Тимнитом Гебру [who was forced out of Google in late 2020]. Мы должны понимать, что эта технология не волшебная. Он собирается людьми, имеет проблемы и разваливается.

Соучредитель OpenAI Сэм Альтман Недавно повышен до ИИ-врача Как выход из кризиса здравоохранения. Кажется, он предлагает двухуровневую систему здравоохранения — одну для богатых, где им нравятся консультации с врачами-людьми, и другую для нас, где мы видим искусственный интеллект. Так ли обстоят дела, и вы беспокоитесь?
ИИ в медицине работает не очень хорошо, поэтому, если очень богатый человек говорит: «Эй, вы можете заставить ИИ заботиться о своем здоровье, а мы оставим врачей себе», мне кажется, что это скорее проблема. чем то, что ведет нас к лучшему миру. Кроме того, эти алгоритмы доступны всем, поэтому мы также можем решать проблемы.