오픈AI·구글 등 주요 AI 기업, 웹사이트 학습 거부 공통 기준 지원… 콘텐츠 이용 통제 강화

오픈AI와 구글, 마이크로소프트, 앤트로픽 등 주요 인공지능(AI) 기업들이 웹사이트 운영자의 AI 학습 관련 의사를 공통으로 확인할 수 있는 기술적 기준을 지원하기로 했다. 웹사이트가 기업별로 별도의 제한 규칙을 설정하지 않아도 여러 AI 서비스에 콘텐츠 활용 의사를 전달할 수 있도록 한다는 취지다.

오픈AI는 30일 공식 발표를 통해 웹사이트의 AI 학습 관련 선택을 표시하는 공통 신호를 지원할 계획이라고 밝혔다. 해당 방식은 인터넷 표준화기구(IETF)에서 논의 중인 기술 제안에 기반하며, 기존 웹사이트 관리 파일인 'robots.txt'를 활용한다.

robots.txt는 웹사이트 운영자가 검색엔진이나 자동화된 프로그램의 접근과 수집에 관한 규칙을 표시하는 파일이다. 지금까지 운영자는 AI 기업별 웹 크롤러를 구분해 접근 제한 규칙을 설정해야 하는 경우가 많았다.

새로운 방식은 여러 기업이 공통으로 인식하는 정책 신호를 사용한다. 운영자가 특정 콘텐츠를 AI 모델 학습에 활용하지 않기를 원한다는 의사를 표시하면, 해당 신호를 지원하는 기업들이 같은 설정을 확인할 수 있도록 하는 구조다.

IETF에 제출된 기술 초안은 '사용자 에이전트(User-Agent)' 항목에 공통 정책 식별자를 적용하는 방식을 제시했다. 별도의 새로운 명령어 체계를 도입하는 대신 기존 robots.txt의 경로 지정 및 허용과 차단 규칙을 활용하도록 설계됐다.

이를 통해 웹사이트 전체뿐 아니라 특정 경로에 포함된 콘텐츠에 대해서도 학습 활용 의사를 구분해 표시할 수 있다. 예를 들어 일반 공개 자료와 별도의 이용 제한이 필요한 콘텐츠를 다른 기준으로 관리하는 방식이다.

다만 이번 제안은 AI 학습에 대한 콘텐츠 이용 의사를 전달하는 것으로, 웹 크롤러의 실제 접근 자체를 차단하는 규칙과는 구별된다. 기술 초안에서도 콘텐츠 활용 목적에 관한 설정과 자동화 프로그램의 접근 관리를 별도로 다루도록 규정하고 있다.

기업별 적용 시점에도 차이가 있다. 앤트로픽은 해당 공통 신호를 이미 적용했으며, 오픈AI는 향후 몇 달 안에 도입할 계획이라고 밝혔다. 구글과 마이크로소프트는 2027년부터 관련 방식을 지원할 예정이다.

이번 논의는 AI 기업의 웹 콘텐츠 수집과 학습 데이터 활용을 둘러싼 논쟁이 이어지는 가운데 추진됐다. 언론사와 콘텐츠 제작자들은 자사 자료가 AI 개발에 활용되는 방식을 통제할 수 있는 기술적 수단의 필요성을 제기해 왔다.

다만 공통 신호가 도입되더라도 모든 AI 기업이 이를 준수해야 하는 법적 의무가 자동으로 생기는 것은 아니다. 현재 제안은 자발적인 참여를 전제로 하며, IETF의 최종 표준으로 확정된 상태도 아니다.

이번 움직임은 AI 학습을 위한 콘텐츠 이용 과정에서 웹사이트 운영자의 선택을 보다 일관된 방식으로 전달하려는 시도다. 실제 적용 범위와 효과는 참여 기업의 도입 일정 및 향후 표준화 논의에 따라 달라질 전망이다.

박태민/taemin2347@newsdot.net

※ 참고자료

*OpenAI, "Making it easier for websites to express AI training preferences", 2026년 10월 30일 참조.

*The Verge, "The biggest names in AI are backing a new way to opt out of scraping", 2026년 10월 30일 참조.