
미국 캘리포니아주가 심각한 안전 위험을 초래하는 인공지능(AI) 시스템의 가동을 강제로 중단할 수 있는 권한을 도입하는 방안을 추진한다. AI 기업의 자체적인 안전 관리에 의존하는 방식에서 벗어나 정부와 독립 평가기관의 감독을 강화한다는 취지다.
개빈 뉴섬(Gavin Newsom) 캘리포니아주 주지사는 18일 AI 안전 규제 강화를 위한 전문가 권고안을 공개했다. 권고안에는 의무적인 안전 기준 수립과 외부 평가, 사고 신고 체계 강화 등의 내용이 포함됐다.
주요 권고사항은 AI 시스템이 심각한 위험을 일으킬 경우에 대비해 기업이 긴급 가동 중단 절차를 마련하도록 하는 것이다. 기업이 필요한 대응 조치를 취하지 않을 경우 주정부가 직접 시스템의 가동 중단을 명령할 수 있도록 하는 방안도 제시됐다.
AI 개발 과정에 대한 외부 감독도 강화할 계획이다. 독립 평가기관이 모델의 학습부터 개발 및 배포에 이르는 과정에서 안전성과 위험 요소를 검증하도록 하고, 평가기관의 전문성과 독립성을 관리하는 체계를 마련하는 방식이다.
AI가 새로운 AI 모델을 개발하며 스스로 성능을 높이는 재귀적 자기 개선(Recursive Self-Improvement·RSI)에 대한 제한도 권고안에 포함됐다. 기술 발전 과정에서 인간의 통제력이 약화될 가능성을 고려해 정부가 관련 연구개발 활동에 제한을 설정할 수 있도록 하자는 것이다.
중대한 AI 안전 사고의 신고 기한을 기존 15일에서 48시간으로 단축하는 방안도 제시됐다. 사고 발생 시 정부가 신속하게 상황을 파악하고 대응할 수 있도록 하기 위한 조치다.
다만 이번에 공개된 내용은 전문가 권고안으로, 주정부의 긴급 중단 권한이나 새로운 신고 의무가 이미 법적으로 확정된 것은 아니다. 실제 적용 범위와 절차는 향후 입법 과정에서 결정될 예정이다.
이번 권고안은 AI 안전 규제의 범위가 사고 발생 이후의 책임 판단을 넘어 개발 단계의 위험 평가와 긴급 대응 체계로 확대되고 있음을 보여준다.
박태민/taemin2347@newsdot.net
※ 참고자료
*Office of the Governor of California, "Governor Newsom’s nation-leading AI safety framework is getting even stronger as California releases next steps on mandatory safety standards and oversight", 2026년 11월 18일 참조.
*CalMatters, "Newsom touts an AI kill switch to halt dangerous OpenAI, Anthropic releases", 2026년 11월 18일 참조.