인공지능(AI)은 어느새 인간의 질문에 답하는 도구를 넘어 판단과 선택의 영역으로 들어왔다.

기업은 AI를 이용해 투자와 채용 여부를 결정하고, 금융기관은 신용과 위험을 평가한다. 행정기관에서도 복지 사각지대 발굴과 재난 예측, 교통 관리, 정책 수요 분석 등에 AI를 활용한다. 사람이 며칠씩 들여다봐야 했던 자료를 순식간에 분석하고, 미처 발견하지 못했던 위험 신호까지 찾아낸다.

분명 이전보다 빠르고 정교하다. 문제는 그다음이다.

AI가 내린 결론은 과연 공정한가. 결과가 잘못됐다면 누구에게 책임을 물어야 하는가. 무엇보다 우리는 어떤 근거로 그 판단을 믿을 수 있을까.

■ 정확하다는 이유만으로 믿을 수는 없다

AI의 강점은 방대한 데이터를 처리하는 능력에 있다. 여러 조건을 동시에 비교하고 축적된 자료에서 일정한 패턴을 찾아내는 데 사람보다 빠르다. 제한된 예산을 배분하거나 정책의 결과를 예측하는 데 활용하면 행정의 효율도 높일 수 있다.

그러나 계산이 정교하다고 해서 결론까지 공정한 것은 아니다.

AI가 학습하는 데이터는 결국 사람이 수집하고 분류한 과거의 기록이다. 그 안에 지역과 세대, 성별과 계층에 따른 편견이나 차별이 남아 있다면 AI는 이를 걸러내기보다 그럴듯한 수치와 논리로 되풀이할 수 있다. 인간의 편견이 기술의 외피를 입는 순간, 오히려 문제를 발견하기는 더 어려워진다.

채용에서 탈락하거나 대출이 거절됐을 때, 복지 대상에서 제외됐을 때 당사자는 적어도 그 이유를 알 수 있어야 한다. 하지만 기관이 “AI 분석 결과”라는 답만 내놓는다면 설명을 요구할 대상도, 잘못을 바로잡을 방법도 찾기 어렵다.

정확성은 신뢰를 위한 조건 가운데 하나일 뿐이다. 어떤 자료와 기준이 사용됐는지 알 수 있어야 하고, 결과에 납득하지 못한 사람이 이의를 제기할 길도 열려 있어야 한다.

■ 알고리즘 뒤에 사람이 있다

AI를 둘러싼 논의에서 놓치기 쉬운 사실이 있다. AI는 스스로 등장해 결정을 내리는 존재가 아니라는 점이다.

누군가 목적을 정하고 데이터를 선택한다. 또 누군가는 시스템을 설계해 현장에 도입한다. AI가 내놓은 결과를 실제 정책이나 서비스에 적용하는 것 역시 사람과 기관이다.

따라서 “AI가 결정했다”는 말은 완전한 설명이 될 수 없다. 자칫 책임을 피하기 위한 편리한 표현으로 쓰일 수 있다.

AI는 여러 선택지의 비용과 가능성을 계산할 수 있다. 하지만 효율과 형평성이 충돌할 때 무엇을 우선할지, 다수의 편익을 위해 소수의 불이익을 어디까지 허용할지는 결정하지 못한다. 그것은 기술이 아닌 가치의 문제다.

특히 국가와 공공기관의 결정은 결과만 좋다고 정당성을 얻는 것이 아니다. 과정이 공정해야 하고 국민이 그 이유를 이해할 수 있어야 한다. 잘못된 결론에는 이의를 제기할 수 있어야 하며, 피해가 발생했을 때 책임지고 바로잡을 주체도 분명해야 한다.

AI는 결론을 제시할 수 있지만 그 결론에 책임질 수는 없다.

■ 신뢰는 성능만으로 만들어지지 않는다

우리나라는 2025년 1월 제정된 인공지능기본법을 2026년 1월 22일부터 시행하면서 AI의 안전성과 신뢰를 뒷받침할 제도적 기반을 마련했다.

고영향 AI나 생성형 AI를 활용한 제품과 서비스를 제공할 때 이용자에게 AI를 기반으로 운용된다는 사실을 미리 알리고, 생성형 AI가 만든 결과물에는 그 사실을 표시하도록 한 것도 같은 취지다.

국제사회의 방향도 크게 다르지 않다. 경제협력개발기구(OECD)와 유네스코 등은 인권과 민주적 가치, 투명성, 안전성, 인간의 감독과 책임을 신뢰할 수 있는 AI의 주요 원칙으로 제시하고 있다.

그러나 법과 원칙을 선언하는 것만으로 충분하지는 않다.

국민의 권리와 기회에 영향을 미치는 결정이라면 AI가 어느 단계에서 사용됐는지 밝혀야 한다. 판단의 핵심 기준을 설명할 수 있어야 하며, 부당한 결과가 나왔을 때 사람이 다시 검토하는 절차도 필요하다. 최종 책임은 알고리즘이 아니라 이를 설계하고 도입해 사용한 사람과 기관이 져야 한다.

기술기업의 영업비밀과 보안도 보호할 필요가 있다. 그렇다고 이를 이유로 국민에게 영향을 미친 과정을 모두 ‘블랙박스’에 가둘 수는 없다. 공개할 정보와 보호할 정보를 구분하고, 시스템의 공정성과 안전성을 객관적으로 검증할 장치가 뒷받침돼야 한다.

■ 기술의 속도와 사회의 방향

AI 경쟁은 이미 국가와 기업의 생존 전략이 됐다. 더 뛰어난 모델과 더 많은 데이터, 고성능 반도체와 컴퓨팅 인프라를 확보하려는 경쟁도 치열하다.

하지만 한 사회의 AI 경쟁력을 기술 수준만으로 평가할 수는 없다.

아무리 성능이 뛰어나도 시민이 작동 방식과 결과를 믿지 못한다면 활용 범위는 제한될 수밖에 없다. 반대로 투명한 기준과 책임 구조를 갖춘 사회에서는 AI가 행정의 효율을 높이고 산업의 혁신을 이끄는 든든한 기반이 될 수 있다.

기술 발전과 신뢰는 서로 발목을 잡는 관계가 아니다. 오래 지속될 혁신을 위해 함께 갖춰야 할 조건이다.

AI는 앞으로 더 많은 답을 내놓을 것이다. 이제 성능만을 묻는 것으로는 충분하지 않다. 그 답이 어떤 근거에서 나왔는지, 오류를 바로잡을 수 있는지, 끝내 책임질 사람이 있는지를 함께 물어야 한다.

기술이 세상을 바꾸는 속도가 빨라질수록 이 질문은 더욱 무거워진다.

대한민국의 미래도 가장 앞선 기술을 보유하는 데서 끝나지 않는다. 국민이 안심하고 사용할 수 있는 기술, 그 결과를 설명하고 책임지는 사회를 만드는 데서 비로소 시작된다.