В 2023 году, вскоре после публичного запуска ChatGPT, обеспокоенность экспертов по поводу ИИ начала расти, поскольку развитие шло очень быстро, в то время как вопросы безопасности отнюдь не были в числе приоритетных.

Одна из крупнейших международных организаций, занимающихся безопасностью ИИ, – Future of Life Institute, где я работаю, – составила открытое письмо. Оно призывало все компании, занимающиеся разработкой ИИ, немедленно приостановить как минимум на шесть месяцев обучение систем, которые мощнее GPT-4.

В обращении подчеркивались критические риски: от созданной ИИ пропаганды до тотальной автоматизации рабочих мест и утраты контроля над общественными процессами. Документ собрал более 30 000 подписей, включая таких мировых экспертов и лидеров мнений, как Йошуа Бенджио, Стюарт Рассел, Илон Маск, Стив Возняк и Юваль Ной Харари.

С тех пор сфера безопасности ИИ значительно продвинулась вперед. Европейский союз принял первый в мире комплексный Закон об искусственном интеллекте (AI Act), была создана международная сеть институтов безопасности ИИ, а также прошел ряд саммитов на межправительственном уровне в Великобритании, Корее, Франции и Индии. Следующие саммиты организуют Швейцария в 2027 году и Объединенные Арабские Эмираты в 2028 году.

Одним из наиболее важных достижений стал международный отчет о безопасности искусственного интеллекта, работу над которым в течение двух лет возглавлял канадский основоположник современного машинного обучения и самый цитируемый ученый Йошуа Бенджио. Это некий аналог отчета Межправительственной группы экспертов по изменению климата (МГЭИК), но в сфере безопасности ИИ. Первый отчет был опубликован 29 января 2025 года, второй – 3 февраля 2026 года. Последний отчет был составлен более чем сотней экспертов по ИИ и поддержан более чем 30 странами и международными организациями. На сегодняшний день это крупнейшее в мире сотрудничество в области безопасности искусственного интеллекта.

Отчет сосредоточен на наиболее мощных системах искусственного интеллекта общего назначения и связанных с ними рисках. Некоторые из этих рисков уже реализуются и задокументированы, другие же в случае их реализации могут оказаться чрезвычайно серьезными.

Какие именно риски рассматриваются в отчете? Они делятся на три категории.

Первая – злонамеренное использование ИИ. Системы ИИ используются для мошенничества, вымогательства и создания интимных изображений без согласия. Системы искусственного интеллекта способны обнаруживать уязвимости в программном обеспечении и писать вредоносный код. Кроме того, они могут предоставлять информацию о разработке биологического и химического оружия.

Вторая – сбои в работе. В системах ИИ случаются сбои, такие как выдумывание информации, генерация ошибочного кода и предоставление вводящих в заблуждение советов. ИИ-агенты представляют повышенный риск, так как действуют автономно.

В сценариях так называемой потери контроля системы действовали бы вне всякого контроля. Нынешние системы не обладают такими возможностями, однако они постоянно развиваются в области автономных действий и все чаще способны находить лазейки в проверках безопасности, из-за чего их опасные способности могут остаться незамеченными.

Третья категория – системные риски. ИИ, по всей вероятности, автоматизирует широкий спектр когнитивных задач, особенно в сфере интеллектуального труда. Текущие данные указывают на то, что в некоторых профессиях потребуется значительно меньше начинающих специалистов, которые только вступают на карьерный путь и еще не обладают достаточным опытом. Чрезмерная опора на инструменты ИИ может ослабить навыки критического мышления и усилить склонность доверять результатам работы систем искусственного интеллекта без надлежащей проверки.

На сегодняшний день число пользователей сервисов "ИИ-собеседников" достигло десятков миллионов. Однако наблюдения показывают, что у части из них чувство одиночества лишь усиливается, а уровень реальной социальной вовлеченности, напротив, снижается.

Как справиться с этими рисками? В прошлом году 12 компаний опубликовали или обновили свои стандарты безопасности ИИ. Технические меры защиты улучшаются, но зачастую выясняется, что пользователи научились обходить ограничения, перефразируя запросы или разбивая их на более мелкие шаги.

Особое внимание стоит уделить моделям с открытым исходным кодом, где пользователи могут сами настраивать параметры и ограничения. Они открывают большие возможности для науки и бизнеса, зачастую обходясь дешевле крупных коммерческих аналогов. Однако такие модели невозможно "отозвать" после публикации: встроенную защиту в них легко обойти, а использование вне контролируемой среды делает практически невозможным отслеживание и предотвращение злоупотреблений.

Общественная устойчивость имеет ключевое значение, поскольку меры по управлению рисками не могут предотвратить все инциденты. Необходимо укреплять критическую инфраструктуру, развивать инструменты для обнаружения контента, созданного ИИ, и наращивать институциональный потенциал: например, протоколы реагирования на кибератаки, программы медиаграмотности и механизмы человеческого надзора.

Понимание рисков не тормозит инновации, а, напротив, делает их возможными. Страны, способные безопасно внедрять ИИ, получат от него больше выгоды, чем те, кому позже придется бороться с последствиями.

Например, Сингапур создал для компаний практическую среду тестирования AI Verify и в начале этого года опубликовал первый в мире свод правил для ответственного использования ИИ-агентов. В прошлом году Сингапур собрал более 100 экспертов из 11 стран, включая США и Китай, для согласования общих приоритетов безопасности ИИ.

Эстония, как одно из самых передовых цифровых государств мира, должна быть активным участником дискуссий о безопасности ИИ, а не просто сторонним наблюдателем. Это требует как интеграции в международные сети, так и наращивания собственной экспертизы. Отрадно, что Академия внутренней безопасности уже делает шаги в этом направлении, создавая центр компетенций по безопасности ИИ.

Возможности для действий уже есть. В июле Эстония станет соорганизатором глобального диалога ООН по управлению искусственным интеллектом. Мы могли бы пригласить ведущих ученых и предпринимателей в сфере ИИ для проведения практических демо-показов рисков и преимуществ технологий.

В ближайшее время начнется работа над следующим международным отчетом по безопасности ИИ, и крайне важно, чтобы представители Эстонии принимали в ней непосредственное участие. На внутреннем же уровне стратегия Eesti.ai должна рассматривать риски более основательно. Начать стоит с простого правила: при реализации любого проекта необходимо заранее просчитывать возможные угрозы и механизмы их предотвращения.