Некоммерческая организация Common Sense Media запускает Youth AI Safety Institute для оценки рисков ИИ для детей и подростков, стремясь установить независимые стандарты безопасности.
Контекст и необходимость независимого контроля
Подобно тому, как в середине 1990-х годов независимое тестирование автомобилей повысило стандарты безопасности на дорогах, новый институт нацелен на аналогичный подход в сфере искусственного интеллекта. В условиях гонки технологических гигантов за создание самых мощных моделей, безопасность часто уступает место скорости разработки. Эксперты отмечают, что полагаться только на саморегулирование самих ИИ-компаний недостаточно для защиты молодого поколения.
Цели Youth AI Safety Institute
Институт призван стать независимой исследовательской и испытательной лабораторией. Его основные задачи включают:
- Оценка рисков: Изучение потенциальных угроз, которые инструменты ИИ могут представлять для детей и подростков.
- Установление стандартов: Создание общедоступных, потребительски ориентированных стандартов безопасности для технологических фирм.
- Тестирование (Red Teaming): Проведение стресс-тестирования ведущих моделей ИИ для выявления уязвимостей в системах защиты.
Институт планирует публиковать результаты в виде понятных руководств для потребителей и разработать измеримые бенчмарки.
Экспертное сообщество и финансирование
Институту оказана поддержка от крупных игроков рынка, включая OpenAI, Anthropic и Pinterest, а также от благотворительных фондов. Важно отметить, что спонсоры не будут участвовать в операционной деятельности или исследованиях группы.
В консультативный совет вошли ведущие эксперты в области технологий, медицины и педагогики, что обеспечивает междисциплинарный подход к задаче. Среди ключевых фигур — бывший глава AI-стратегии Apple, Джон Джаннандреа, который подчеркнул необходимость независимых метрик для оценки вреда.
Актуальные вызовы в сфере ИИ-безопасности
Запуск института происходит на фоне растущей озабоченности общественности. В медиа освещались случаи, когда чат-боты давали сомнительные советы, а также инциденты с генерацией нежелательного контента. Кроме того, растет вопрос о влиянии ИИ на образовательный процесс.
Эксперты подчеркивают, что в отличие от физических продуктов, ИИ-модели могут получать обновления с новыми, потенциально рискованными функциями еженедельно. Поэтому создание независимой структуры необходимо для поддержания темпа исследований, соответствующего темпам развития самой технологии.
Сравнение с прошлым опытом
Common Sense Media уже имеет опыт оценки рисков в других сферах, предупреждая о «неприемлемых рисках» от некоторых приложений. Создание института направлено на то, чтобы избежать ошибок, свойственных эпохе социальных сетей, когда выявление полных рисков происходило только после судебных исков или журналистских расследований.
