“AI 안전성 시험, 대부분 결함”…440여 개 벤치마크 전수 점검에 ‘경고등’

英 정부 AI 보안연구소·스탠퍼드·버클리·옥스퍼드 공동 분석 “거의 전부 최소 1개 영역 결함…주장 신뢰성 훼손”[서울=뉴스닻] 최승림 기자 = 최신 인공지능(AI) 모델의 안전·효과를 검증한다는 각종 시험(벤치마크) 자체에 체계적 결함이 광범위하게 존재한다는 분석이 나왔다. 영국 정부 산하 AI 시큐리티 인스티튜트와 스탠퍼드, UC버클리, 옥스퍼드 등 연구진은 440여 개 벤치마크를 살핀 결과 “거의 모든 시험이 적어도 한 영역에서 약점을 드러냈고, 이로 인해 결과 주장(validity)이 흔들릴 수 있다”고 밝혔다. 일부 점수는 무관하거나 오해를 부를 수 있는 수준이라는 지적도 덧붙였다. Image by Imagen 4.0 Ultra [https://deepmind.google/models/imagen/]왜 문제인가: 규제 공백 속 ‘벤치마크 만능주의’각 국가에서 전면적 AI 규제가 아직 정착되지 않은 상황에서, 빅테크가 공개하는 신모델은 대개 벤치마크 성적을 안전성·성능의 근