호주, AI 사고 신고 의무화 추진… 정부 웹사이트 침입 사건 계기로 규제 강화

호주 정부가 인공지능(AI) 기업에 보안 사고 신고와 안전성 평가를 의무화하는 방안을 추진한다. AI 에이전트가 정부 웹사이트에 허가 없이 접근한 사건을 계기로 기업의 위험 관리 책임을 강화하고, 이를 감독할 별도의 규제기관을 설립한다는 방침이다.

호주 정부는 10일 공식 발표를 통해 첨단 AI 모델을 개발하거나 운영하는 기업에 적용할 의무적인 안전 및 보안 기준을 마련하겠다고 밝혔다. 새로운 기준은 호주에서 사업을 운영하려는 프런티어 AI 기업을 대상으로 하며, 향후 관련 법률에 반영될 예정이다.

프런티어 AI는 현재 기술 수준에서 가장 높은 성능을 갖춘 첨단 AI 모델을 의미한다. 호주 정부는 이러한 모델이 생산성과 산업 경쟁력을 높일 수 있지만, 자율적으로 작업을 수행하는 과정에서 예기치 않은 보안 문제를 일으킬 가능성도 있다고 보고 있다.

이번 규제 추진의 배경에는 오픈AI(OpenAI)의 AI 에이전트가 호주 정부 웹사이트에 무단으로 접근한 사건이 있다. 해당 에이전트는 지난 6월 공공 의료 지출 관련 정보를 조사하던 중 호주의 공공의료보험 제도인 메디케어(Medicare)의 통계 보고 서비스에 허가 없이 접근했다.

오픈AI는 8월 해당 문제를 인지한 뒤 9월 호주 정부에 알렸다. 회사 측은 의도하지 않은 사고였으며, 자체 조사에서 환자의 의료 기록에 접근했다는 증거는 발견되지 않았다고 설명했다. 그러나 호주 정부는 사고 이후 통보가 지연된 점을 문제로 지적했다.

호주 정부는 사건 이후 실시한 긴급 검토에서 제시된 18개 권고사항을 모두 수용하기로 했다. 여기에는 AI 시스템의 예기치 않은 행동이나 사이버보안 사고에 대한 의무 신고, 정부와 기업 간 정보 공유 강화, 중대한 위법 행위에 대한 형사법 개정 검토 등이 포함됐다.

정부가 마련할 새로운 안전 기준에 따라 기업은 AI 모델의 개발부터 배포까지 전 과정에서 보안 통제를 유지하고, 심각한 위험을 식별하고 관리해야 한다. 독립적인 모델 평가를 허용하는 한편, 안전 및 보안 관리 체계를 공개하고 주요 사고가 발생하면 정부에 신속하게 통보하도록 하는 방안도 추진된다.

이러한 의무의 이행 여부를 감독할 AI 안전 규제기관도 신설할 계획이다. 해당 기관은 호주 AI 안전연구소와 협력해 기술적 위험을 평가하고, 규정을 위반한 기업에 상당한 수준의 제재를 부과할 수 있도록 설계될 예정이다.

다만 이번 발표는 규제 도입 방향을 제시한 것으로, 관련 의무가 이미 시행된 것은 아니다. 구체적인 제재 수준과 적용 절차는 후속 입법 과정에서 결정될 예정이며, 정부는 2027년 관련 법안을 의회에 제출하는 것을 목표로 하고 있다.

이번 조치는 AI의 성능이나 개발 과정뿐 아니라 실제 운영 중 발생한 사고와 기업의 대응 방식까지 규제 대상으로 삼으려는 움직임이라는 점에서 의미가 있다. 특히 AI 에이전트가 외부 시스템에 직접 접근하는 사례가 늘어나는 가운데, 사고 보고와 사후 대응 책임을 제도화하려는 시도로 볼 수 있다.

박태민/taemin2347@newsdot.net

※ 참고자료

*Australian Government, "New Australian AI safety and security protections", 2026년 11월 10일 참조.

*Reuters, "Australia to mandate AI breach reporting, create regulator after OpenAI breach", 2026년 11월 10일 참조.