Алгоритмы делают то, чему их учат; к сожалению, некоторых учат предрассудкам и неэтичным предубеждениям социальные модели, скрытые в данных обучения. Чтобы ответственно строить алгоритмы, мы должны уделять пристальное внимание потенциальной дискриминации или непреднамеренным, но вредным последствиям. В этой статье мы рассмотрим, на что следует обратить внимание, и ключевые вопросы, которые могут помочь вашей организации внедрить ИИ с уверенностью и доверием. Осенью 2018 года New York Times опубликовала статью об эксперименте, в котором они использовали алгоритм для создания идей костюмов на Хэллоуин. Результаты были забавными: «бейсбольный клоун», «кошка-ведьма», «королевский пес». Алгоритм объединил случайные буквы в слова, которые затем сравнил с набором реальных слов в своих обучающих данных. Если он находил совпадение, он сохранял слово и соединял его с другим.

В этом примере — и во многих более серьезных подобных — алгоритму давали уже существующие шаблоны и учили их воспроизводить. Алгоритм никогда не «понимал» значение слов, а просто выдавал результаты, соответствующие полученному шаблону. Если бы слово было написано неправильно в обучающих данных, алгоритм увековечил бы ошибку. Если бы слово устарело, алгоритм тоже устарел бы. Если бы у слова были негативные ассоциации, алгоритм был бы «грубым». Плохие петли обратной связи Было несколько примеров, которые показывают, как плохие петли обратной связи, такие как упомянутые выше, могут привести к негативным последствиям для общества. Например, Amazon разработала алгоритм для принятия обоснованных решений о найме и использовала исторические данные за последние 10 лет, когда мужчины доминировали в технологической отрасли.

В результате Amazon обнаружил, что его алгоритм дискриминирует соискателей-женщин. Или возьмем другой пример из системы уголовного правосудия США. Предвзятым алгоритм, который дал черным ответчикам , более высокий риск балльно-был использован для прогнозирования риска рецидива и влиять на приговор в нескольких штатах. Проблема в том, что простые алгоритмы рассматривают все данные как неизменные, даже данные о наших предпочтениях, доходах, жизненной ситуации или бесчисленных других изменяющихся шаблонах. Что может случиться тогда, так это то, что алгоритмы могут поймать людей в ловушку их происхождения, истории или стереотипа. Это должно заставить всех, кто разрабатывает алгоритмы, выявлять и устранять потенциальные непредвиденные последствия. Проблема в том, что простые алгоритмы воспринимают все данные как неизменные, даже данные о наших предпочтениях, доходах, жизненной ситуации.

Что может случиться тогда, так это то, что алгоритмы могут поймать людей в ловушку их происхождения, истории или стереотипа. Непреднамеренные последствия Некоммерческий аналитический центр The Future of Privacy Forum (FPF) определил четыре основных типа вреда или непредвиденных последствий, которые могут причинить алгоритмы. Потеря возможности. Как показывает приведенный выше пример Amazon, предвзятые алгоритмы найма могут лишить некоторые группы возможностей трудоустройства. Подобные предубеждения могут удерживать людей от других возможностей, таких как высшее образование, программы социального обеспечения, планы медицинского обслуживания и бизнес-кредиты. Экономические потери. Дифференциальное ценообразование и доступность кредита являются двумя наиболее распространенными примерами экономических потерь.

В одном из первых примеров алгоритмов с расовой предвзятостью кредитный лимит мистера Джонсона, афроамериканца, резко сократился с 10 800 до 3 800 долларов. Причина? Он делал покупки в местах, где ожидалось, что клиентская база будет иметь плохую историю погашения кредита. Социальный ущерб. Некоторые примеры социального ущерба включают предвзятость подтверждения, стереотипы и другие явления, которые влияют на то, как люди организуются и относятся друг к другу. Простой пример — ваша новостная лента на Facebook, которая настолько хорошо адаптирована к вашей онлайн-активности, что вы, скорее всего, увидите и прочитаете идеи, которые подтверждают ваши собственные представления о мире, независимо от того, предвзяты они или нет. Любые будущие рекомендации также будут соответствовать вашим взглядам. Потеря свободы.

Самый серьезный вред из всех — это потеря свободы. Как и во втором примере, алгоритм с расовой предвзятостью может привести к ложным прогнозам преступлений, основанным лишь на расе. Конструктивное отражение Большинство организаций стремится избегать такого вреда, и действительно, большинство предубеждений являются случайными и небрежными, а не преднамеренными. Но чтобы избежать несчастных случаев и небрежности, мы должны задать следующие вопросы на этапах планирования, проектирования и оценки нашей работы с алгоритмами и связанными с ними приложениями ИИ: Уместно ли делать эту систему машинного обучения? Этот вопрос возвращает человека в центр алгоритма и бросает вызов его цели. Почему мы делаем этот алгоритм? Является ли его целью дать кому-то преимущество перед другими? И если да, то является ли это подходящим конкурентным пространством? Какую проблему мы пытаемся решить с его помощью? Возможно, в исторических данных, используемых для обучения алгоритма, есть некоторые неотъемлемые погрешности, и поэтому результат только усилит эти погрешности . Что такое инклюзивный и комплексный технический подход при построении этой системы машинного обучения? Установив, что цель вашего алгоритма является подходящей, какие средства помогут вам ее достичь? Это то, что гарантирует не только то, что ваш алгоритм является инклюзивным и всеобъемлющим, но и то, что он продолжает оставаться таким. Теперь, когда эта система машинного обучения построена, справедливы ли результаты? Этот вопрос побуждает вас оценить результаты вашего алгоритма.

То, что алгоритм работает, не означает, что он работает так, как задумано, как мы видели в приведенных выше примерах. Поскольку мы находимся на относительно ранних этапах разработки ИИ, результаты алгоритмов машинного обучения всегда должны быть тщательно изучены. Трудность в этом случае заключается в том, чтобы определить, что является «справедливым», сложный вопрос, выходящий за рамки этики ИИ. Даже с технической точки зрения существуют разные способы количественной оценки «справедливости», которые противоречат друг другу. Чтобы понять, являются ли результаты алгоритма справедливыми, создатель должен привлечь затронутую аудиторию, чтобы понять контекст справедливости при применении алгоритма. Какой вред второго порядка может существовать? Помимо четырех основных типов вреда, есть и другие, которые могут проявиться только при среднесрочном и долгосрочном использовании алгоритма. Например, будет ли алгоритм угрожать конфиденциальности данных людей? Какие еще могут быть варианты использования алгоритма и его результатов? Как они повлияют на людей и общество в целом? Несмотря на то, что это всего лишь предположения, важно, чтобы разработчики обратились к ним на раннем этапе, потому что это заставляет их думать о нетехнической, этической стороне создания алгоритма.

Будет ли алгоритм предоставлять детерминированные предложения/результаты? Наконец, этот вопрос касается того, как алгоритм будет меняться со временем. Поскольку алгоритм для начала будет использовать исторические данные, он, вероятно, укрепит некоторые из своих паттернов. Если у него нет возможности учиться на новых данных, его результаты будут детерминированными. Таким образом, этот вопрос касается того, как мы можем улучшить методы, лежащие в основе алгоритма, и убедиться, что он учится на новых наборах данных или распознает тонкие различия, чтобы он не повторял или не преувеличивал прошлые тенденции. Чтобы понять, являются ли результаты алгоритма справедливыми, создатель должен привлечь затронутую аудиторию, чтобы понять контекст справедливости при применении алгоритма. Ставить этику в основу развития Мы программируем алгоритмы так, чтобы они давали нам именно то, о чем мы просили, поэтому нам не следует удивляться, когда они это делают. Ни одна из проблем, упомянутых в этой статье, не связана с самими алгоритмами машинного обучения.

Вместо этого проблемы возникают из-за того, как они взаимодействуют с обществом, и из-за непредвиденных последствий, которые могут возникнуть в результате этих взаимодействий. Таким образом, жизненно важно ставить этические аспекты в основу разработки каждого нового алгоритма. Один из способов обеспечить это — использовать модели управления общественным здравоохранением, в которых вопросы рассматриваются как индикаторы основных движущих сил, а не проблемы, которые необходимо решать как таковые. Другой вариант — обеспечить более быструю адаптацию алгоритмов к более новым или лучшим данным таким образом, чтобы не преувеличивать исторические закономерности. Мы видим это каждый день, когда ИИ в Spotify или Amazon быстро адаптирует рекомендации к нашим последним запросам. Наконец, целевые исследования, выявляющие отдельные проблемы и решения, имеют решающее значение для успеха любых усилий по созданию более этичного ИИ. Нам нужно, чтобы больше ресурсов и больше внимания высшего руководства было направлено на обеспечение того, чтобы алгоритмы не оказывали негативного воздействия на отдельных людей или общество.

Точно так же, как конфиденциальность данных и кибербезопасность перешли от вопросов на уровне департаментов к вопросам совета директоров, ответственное управление ИИ должно быстро стать более важным для всех организаций, которые его используют. .