Наш опыт работы на стыке предпринимательства, науки и цифровой политики позволяет уверенно заявить: это безрассудный план. Но ОАЭ претендуют на роль глобального образца в цифровой политике, поэтому другие страны могут решить, что надо последовать этому примеру.
Эту опасность нельзя игнорировать. Мы уже хорошо знаем, что происходит, когда правительства делегируют принятие решений алгоритмам. В 2021 году самообучающаяся система в Нидерландах ошибочно обвинила примерно 35 тысяч семей в мошенничестве с детскими пособиями. Родителям приказали вернуть десятки тысяч евро, которые они не были должны государству; люди лишились жилья; более двух тысяч детей забрали государственные органы опеки.
Этот исход фактически был запрограммирован. Как факторы риска в системе были отмечены имена, звучащие на иностранный лад, а также двойное гражданство. Это привело к фиксации незаконной дискриминации напрямую в модели. Результатом стал общенациональный скандал, который в итоге привёл к отставке правительства тогдашнего премьер-министра Марка Рютте.
Схожие тенденции наблюдаются в Австралии. В период с 2015 по 2019 год в рамках программы Robodebt 433 тысячи получателей пособий привлекли к ответственности, потребовав вернуть якобы неправомерно полученные 1,7 млрд австралийских долларов ($1,2 млрд). Ущерб был колоссальным. Матери рассказывали о сыновьях, которые покончили жизнь самоубийством после получения уведомления о задолженности, которую они не могли никак оспорить. В дальнейшем Королевская комиссия установила, что эта программа не была «ни справедливой, ни законной».
Тем временем в США штаты Арканзас и Айдахо заменили медсестёр алгоритмами, которые оценивали необходимость и объёмы предоставляемого домашнего ухода пациентам. Людям с церебральным параличом, квадриплегией и рассеянным склерозом одним махом сократили объём домашней помощи на 20–50%. В дальнейшем суды распорядились прекратить использование этих систем, но это случилось лишь после того, как ущерб уже был нанесён. Некоторые пациенты остались без адекватной поддержки, что привело к медицинским осложнениям, которые можно было предотвратить.
Каждый из этих случаев касался лишь одной системы одного ведомства. А теперь представьте, что подобные системы будут управлять половиной всех госуслуг, как это предполагается планом ОАЭ.
Подумайте, например, о матери-одиночке, чьи детские пособия оказались заморожены после того, как ИИ-агент отметил как подозрительную её банковскую активность. Внезапно ей приходится разбираться с процедурами обжалования, когда одна автоматизированная система отправляет её к другой (без какого-либо человеческого контакта), причём ровно в тот момент, когда ей надо платить за аренду жилья. Или о работнике-мигранте, которому отказали в продлении вида на жительство, потому что система не может распознать документы его работодателя (фактически превратив его в мигранта без документов). Или о пожилой вдове, чья пенсионные выплаты оказались приостановлены из-за несовпадений в двух базах данных, а она не может разобраться с интерфейсом программ.
Ключевые риски ИИ-агентов
Это не гипотетические ситуации. Это задокументированные типовые случаи, которые агентный ИИ усугубляет настолько, что никакая программа обучения не позволяет устранить проблему в срок два года, установленный ОАЭ.
Выделяются три ключевых риска. Первый – масштабы: когда социальный работник допускает ошибку, страдает один человек; когда ошибается ИИ-агент, пострадать могут тысячи людей, прежде чем кто-то это заметит.
Кроме того, процесс принятия решений искусственным интеллектом непрозрачен. Агентные системы принимают решения последовательно, причём каждый шаг опирается на предыдущий, поэтому к тому моменту, когда вред становится заметен, причинно-следственная цепочка фактически оказывается утрачена. Ярким примером служит ситуация с алгоритмической системой оценки медицинских льгот в штате Арканзас. Никто – даже создатели модели – не смогли в полной мере объяснить, как она работает, что побудило федеральный суд назвать её «дико иррациональной». Кроме того, отсутствие прозрачности может быть встроенным качеством из-за коммерческой тайны или частной собственности на системы, лежащие в основе алгоритмов.
Наконец, ИИ-системы перекладывают бремя доказывания: они заставляют граждан доказывать свою невиновность, а не требуют от государства обосновать свои действия. После скандала с детскими пособиями в Нидерландах и программой Robodebt в Австралии стало ясно, что сильнее всего страдают те, кто меньше всего способен что-то доказывать, то есть люди с ограниченным количеством времени, денег, плохим знанием языка, отсутствием доступа к юридической поддержке.
Ошибочная «логика эффективности»
ОАЭ утверждают, что принцип «Люди прежде всего» станет руководящим для их ИИ-программы. Однако выбранные подходы говорят об ином. Правительство, которое оценивает министерства по «скорости внедрения» и уровню «владения ИИ-навыками», не отслеживает то, что действительно важно; оно копирует ту самую логику эффективности, которая уже нанесла столько вреда в разных странах мира.
Скорость внедрения – это показатель для продавца. А главная обязанность правительства – заботиться о людях, опираясь на человеческое суждение.
Такой подход соответствует ожиданиям граждан, что правительство будет подотчётным и прозрачным, будет объяснять решения, затрагивающие их права и свободы. Когда власти с энтузиазмом выбирают автономное принятие решений ИИ во имя эффективности, они, по сути, отказываются от этой подотчётности.
Все скандалы с алгоритмами в последние годы поднимают одни и те же фундаментальные вопросы: кто несёт ответственность, и кто принял решение? В правительстве, которым управляет агентный ИИ, на эти вопросы уже нет чётких ответов. Система сама решает, сама обновляется и сама движется вперёд, оставляя граждан без помощи, когда что-то пошло не так.
Из-за подъёма ИИ демократическая ответственность размывается не путём открытого захвата власти, а с помощью решений о госзакупках, которые тихонечко заменяют человеческий контроль. Ослабляя доверие к государственным институтам в период, когда оно и так уже на опасно низком уровне, эти системы в итоге служат интересам техногигантов, продвигающих ИИ-революцию.
Так не должно быть. У ОАЭ есть ресурсы, талантливые кадры и политическая стабильность, которые нужны для построения цифрового правительства, действительно ориентированного на человека и способного стать мировым стандартом, дополняя (а не заменяя) принятие решений человеком.
За ошибки расплачиваться придётся не только ОАЭ. Расплачиваться придётся одинокой матери в другой стране, чьи пособия отменит алгоритм, о существовании которого она даже не подозревает, и бесчисленному множество таких же, как она, людей, во всём мире.
Габриэла Рамос
Габриэла Рамос – сопредседатель Рабочей группы по вопросам неравенства и раскрытия социально значимой финансовой информации, бывший заместитель гендиректора по социальным и гуманитарным наукам в ЮНЕСКО, где она курировала разработку «Рекомендаций по этике ИИ», бывший руководитель аппарата в ОЭСР, работала шерпой в G20, G7 и АТЭС.
Эмилия Стойменова Дух
Эмилия Стойменова Дух – ассоциированный профессор электротехники в Люблянском университете, член совета директоров фонда Globethics, бывший министр цифровой трансформации Словении.
© Project Syndicate, 2026.
www.project-syndicate.org
