Вкусное нейрохрючево
Ниже — структурированный разбор статьи «Policy on the AI Exponential» от Dario Amodei.
Главный тезис
Амодеи считает, что развитие ИИ движется по экспоненте и политические институты не успевают за скоростью технологического прогресса. В ближайшие годы могут появиться системы, сопоставимые или превосходящие лучших специалистов в большинстве интеллектуальных задач. Поэтому регулирование нужно строить заранее, а не реагировать постфактум. (Dario Amodei)
Основные аргументы
1. ИИ развивается быстрее, чем политика
Технологические возможности растут ежегодно, тогда как законы, регуляторы и международные соглашения принимаются годами. Возникает «разрыв скорости» между технологией и государственным управлением. (Dario Amodei)
Следствие
Если ждать появления реальных катастроф, регулирование окажется слишком поздним.
2. Возможности ИИ будут чрезвычайно полезными
Амодеи не относится к лагерю, который видит только угрозы. Он ожидает огромные положительные эффекты:
- ускорение биомедицинских исследований;
- создание новых лекарств;
- ускорение научного прогресса;
- рост производительности экономики;
- помощь в решении сложных инженерных задач. (Dario Amodei)
Следствие
Цель политики — не замедлить развитие ИИ, а получить преимущества при контроле рисков.
3. Существуют четыре особо опасные категории рисков
Амодеи выделяет направления, где мощный ИИ может причинить масштабный вред:
Биологические угрозы
ИИ может помочь создавать опасные патогены или облегчить разработку биологического оружия.
Киберугрозы
Сильные модели могут автоматизировать сложные атаки на инфраструктуру и государственные системы.
Автономное ускорение исследований ИИ
Системы могут начать существенно помогать в создании ещё более мощных систем.
Потеря контроля
Наиболее долгосрочный риск — появление моделей, поведение которых люди не смогут надёжно направлять и контролировать. (Dario Amodei)
4. Авторитарные государства могут использовать ИИ для контроля общества
Амодеи опасается, что ИИ станет инструментом:
- тотальной слежки;
- автоматизированной цензуры;
- массовой пропаганды;
- военного доминирования.
Поэтому он считает важным сохранение лидерства демократических стран в области ИИ. (Wikipedia)
5. Экономические последствия могут быть беспрецедентными
ИИ способен автоматизировать значительную часть интеллектуального труда.
Речь идёт не только о физических профессиях, но и о:
- программировании;
- аналитике;
- юридической работе;
- финансовом анализе;
- офисных задачах.
Амодеи допускает длительное сокращение спроса на человеческий труд, а не просто временную перестройку рынка. (Business Insider)
Предлагаемые меры политики
1. Обязательные аудиты передовых моделей
Для наиболее мощных моделей предлагается режим, похожий на сертификацию самолётов.
Компании должны проходить независимые проверки по нескольким направлениям:
- биобезопасность;
- кибербезопасность;
- способность модели ускорять разработку ИИ;
- другие критические риски. (KuCoin)
2. Полномочия государства блокировать опасные системы
Если модель не проходит аудит безопасности, государство должно иметь право ограничить или запретить её развертывание. (Axios)
3. Жёсткие требования к безопасности разработчиков
Компании, создающие frontier-модели, должны:
- защищать веса моделей;
- проводить red teaming;
- регулярно проводить penetration testing;
- сотрудничать с государством по защите от серьёзных угроз. (Dario Amodei)
4. Обязательное раскрытие серьёзных инцидентов
При обнаружении опасного поведения моделей или серьёзных нарушений безопасности компании должны быстро сообщать об этом регуляторам. (Dario Amodei)
5. Сохранение технологического лидерства демократий
Амодеи поддерживает:
- экспортный контроль передовых чипов;
- ограничения доступа стратегических соперников к критическим вычислительным ресурсам;
- координацию между демократическими странами. (Dario Amodei)
6. Подготовка к возможной массовой автоматизации труда
Предлагаются меры в несколько этапов.
Краткосрочные
- мониторинг влияния ИИ на рынок труда;
- программы переподготовки;
- поддержка занятости;
- страхование потери доходов;
- улучшение механизмов поиска работы. (Business Insider)
Долгосрочные
Если спрос на человеческий труд существенно снизится:
- базовый доход;
- перераспределение части сверхдоходов ИИ-компаний;
- универсальные инвестиционные или капитальные счета для граждан. (Business Insider)
Что отличает эту статью от предыдущих текстов Амодеи
Ранее он в основном выступал за прозрачность и добровольные меры безопасности. В этой статье он фактически переходит к поддержке обязательного регулирования передовых ИИ-систем, включая независимые проверки и возможность государственного запрета опасных моделей. (KuCoin)
Краткое резюме в одном абзаце
Амодеи исходит из предположения, что сверхмощный ИИ может появиться гораздо раньше, чем ожидают большинство политиков. Поэтому он предлагает сочетание трёх направлений: ускорять получение выгод от ИИ, жёстко контролировать наиболее опасные системы и заранее готовиться к масштабным экономическим и геополитическим последствиям. Главный посыл статьи: проблема уже не в том, будет ли ИИ очень мощным, а в том, успеют ли институты управления адаптироваться к этой скорости изменений. (Dario Amodei)