프랑스의 인공지능(AI) 전문가위원회가 챗봇과 AI 비서 서비스에 대한 이용자 보호 규제를 강화할 것을 권고했다. AI가 사람처럼 행동하거나 이용자의 감정적 반응을 유도하는 기능을 제한하고, 서비스 출시 이전부터 이용자에게 미칠 위험을 평가하도록 하는 것이 핵심이다.

프랑스 대통령실은 10일 AI·디지털위원회(CIANum) 산하 전문가위원회가 생성형 AI와 이용자의 취약성을 분석한 보고서를 에마뉘엘 마크롱 대통령에게 제출했다고 밝혔다. 위원회는 AI 서비스가 개인과 사회에 미치는 영향을 검토하고, 이용자 보호를 위한 18개 권고사항을 제시했다.

이번 보고서는 AI 챗봇과 대화형 서비스가 일상생활에 빠르게 확산되는 상황에서 이용자의 판단 능력과 감정적 반응이 기술적으로 영향을 받을 수 있다는 문제의식에서 출발했다. 위원회는 특히 미성년자와 심리적으로 취약한 이용자에 대한 보호가 필요하다고 강조했다.

주요 권고사항 중 하나는 AI가 실제 사람처럼 인식되도록 만드는 기능을 제한하는 것이다. 위원회는 이용자가 AI와 대화하고 있다는 사실을 명확히 인식할 수 있도록 안내를 강화하고, AI가 지나치게 친밀한 태도를 보이거나 이용자의 의견에 무조건 동조하는 기능을 기본적으로 비활성화하는 방안을 제안했다.

이는 AI와의 상호작용이 장기간 이어질 경우 이용자가 서비스에 감정적으로 의존할 가능성을 고려한 조치다. 위원회는 AI가 이용자의 선호와 반응을 분석해 대화 방식을 개인화할 수 있다는 점에서 기존 디지털 서비스와 다른 위험이 발생할 수 있다고 봤다.

AI 서비스의 출시 단계에서 안전성을 평가하는 방안도 제시됐다. 위원회는 일반 소비자를 대상으로 하는 생성형 AI 시스템에 대해 출시 전 다학제적 위험 평가를 실시하고, 출시 이후에도 지속적인 감시와 평가를 진행할 것을 권고했다.

기존 규제 체계가 문제가 발생한 이후 기업의 책임을 판단하는 데 집중했다면, 이번 권고안은 서비스가 시장에 출시되기 전부터 이용자에게 미칠 영향을 점검하도록 하는 데 초점을 맞췄다.

위원회는 AI 서비스의 상업적 활용 방식도 검토 대상으로 삼았다. 기업이 AI와의 대화에서 수집한 정보를 통해 이용자의 감정 상태나 성향을 추론하고, 이를 광고나 상업적 목적으로 활용할 가능성에 우려를 제기했다.

이에 따라 AI의 응답이 광고나 상업적 이해관계의 영향을 받는 경우 이를 명확히 표시하고, 이용자가 자신의 대화 내용을 토대로 AI가 추론한 개인정보와 특성을 확인할 수 있도록 하는 방안도 제안했다.

AI를 활용한 허위정보 확산에 대응하기 위한 정부 차원의 체계 마련도 권고사항에 포함됐다. 위원회는 생성형 AI로 제작된 허위 콘텐츠가 사회적 혼란을 일으킬 가능성을 고려해 정부 부처와 관련 기관이 신속하게 정보를 공유하고 대응할 수 있는 절차를 마련해야 한다고 밝혔다.

다만 이번 보고서는 전문가위원회가 제출한 정책 권고안으로, 관련 규제가 실제 법률로 제정되거나 시행된 것은 아니다. 제안된 조치의 도입 여부와 구체적인 적용 범위는 프랑스 정부와 유럽 차원의 후속 논의에 따라 결정될 수 있다.

이번 발표는 AI 이용자 보호 논의가 개인정보 유출이나 유해 콘텐츠 차단을 넘어, AI와의 대화 과정에서 형성되는 감정적 의존과 판단에 대한 영향으로 확대되고 있음을 보여준다. AI 서비스의 편의성과 활용 가능성을 유지하면서도 이용자의 자율성을 보호할 수 있는 제도적 기준이 향후 중요한 과제로 떠오를 것으로 보인다.

박태민/taemin2347@newsdot.net

※ 참고자료

*Élysée, "Remise du rapport de la Commission d’experts « IA générative et vulnérabilités »", 2026년 11월 10일 참조.

*Le Monde, "Commission calls for stricter regulation of AI assistants in France", 2026년 11월 10일 참조.