На официальном сайте OpenAI вышел программный пост AI Progress and Recommendations («Развитие ИИ и рекомендации), в котором компания в том числе предупреждает о «потенциально катастрофических» рисках супер-ИИ и предлагает пять шагов для улучшения безопасности.

Авторы пишут, что уже сейчас в ряде интеллектуальных задач модели сопоставимы с людьми, при этом падение «стоимости единицы интеллекта» примерно в 40 раз в год. При столь высоких темпах развития критически важно успевать выравнивать и надежно контролировать новые ИИ. В OpenAI отмечают, что при приближении к созданию способных к самообучению ИИ, стандарты безопасности следует ужесточить — вплоть до замедления разработки таких систем.

Также среди предложений OpenAI:

• общие стандарты безопасности между передовыми ИИ-лабораториями;

• надзор за ИИ «по уровням способностей» (ниже для текущих моделей, усиленная координация при прогрессе);

• «экосистема устойчивости» (стандарты, мониторинг, команды реагирования — аналог того, что принято в кибербезопасности);

• регулярные измерения фактического влияния на экономику и занятость;

• сделать доступ к продвинутому ИИ базовой утилитой для взрослых пользователей в установленных обществом рамках.

Отдельный акцент — публичная подотчетность разработчиков. В США OpenAI призывает избегать «регуляторного лоскутного одеяла», различающегося в отдельных штатах и двигаться к общим стресс-тестам и протоколам работы с опасными возможностями (например, в рисках биологической угрозы).

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть«, где я рассказываю про ИИ с творческой стороны.