인공지능(AI) 기술의 발전이 가속화되는 가운데, AI가 만들어내는 ‘할루시네이션(hallucination, 환각)’ 현상이 심각한 사회적 문제로 대두되고 있다. 할루시네이션은 AI가 실제로 존재하지 않는 정보나 맥락과 무관한 내용을 사실처럼 생성하는 현상을 말한다. 이는 단순한 기술적 오류를 넘어, AI 신뢰성의 근본적인 한계이자 사회적·윤리적 문제로 확산되고 있다.
최근 오픈AI가 공개한 추론형 챗봇 모델 ‘o3’와 ‘o4-미니’는 이전 세대보다 성능이 크게 향상됐지만, 환각률이 오히려 두 배 가까이 치솟은 것으로 나타났다. 오픈AI의 내부 벤치마크 결과에 따르면, o3 모델은 33%, o4-미니는 무려 48%의 환각 반응률을 기록했다. 이는 기존 모델(o1, o3-미니)의 14~16% 환각률보다 훨씬 높은 수치다. 비추론 모델인 GPT-4o보다도 환각이 더 자주 발생해, 기술 진보와 신뢰성 사이의 간극이 다시 한번 드러났다.
할루시네이션의 주요 원인은 다음과 같다. 먼저, AI가 학습하는 데이터에 오류, 편향, 결함이 있으면 잘못된 정보를 사실처럼 생성할 가능성이 높아진다. 완벽한 데이터셋을 확보하는 것이 현실적으로 어렵기 때문에, 이 문제는 구조적으로 반복된다. 둘째, 생성형 AI는 입력된 질문에 대해 가장 그럴듯한 단어를 확률적으로 이어붙이는 방식으로 답변한다. 이 과정에서 사실 여부를 스스로 검증하지 못해, 허구의 정보를 실제처럼 만들어낸다. 셋째, AI는 인간처럼 상황의 맥락을 깊이 있게 이해하지 못하기 때문에, 엉뚱하거나 관련 없는 답변을 내놓는 경우가 많다. 마지막으로, 특정 분야의 전문 지식이 부족하거나, 입력이 모호할 때 할루시네이션이 더 쉽게 발생한다.
할루시네이션 문제는 단순한 ‘오답’ 수준을 넘어, 사회적으로 심각한 결과를 초래할 수 있다. 의료·법률·금융 등 고위험 분야에서 의료 AI가 잘못된 진단을 내리거나, 법률 자문 AI가 부정확한 법적 조언을 제공할 경우, 돌이킬 수 없는 피해로 이어질 수 있다. 또한, 답변의 신뢰성과 근거가 불분명해, 비즈니스와 학술 연구 등 정확성이 요구되는 분야에서 생성형 AI 활용이 사실상 불가능하다는 지적도 나온다. 게다가, AI가 그럴듯한 거짓 정보를 반복적으로 생성하면, 사회 전반의 정보 신뢰도가 하락하고, AI 기술에 대한 불신이 확산될 수 있다.
AI 할루시네이션을 줄이기 위한 다양한 기술적·운영적 시도가 이루어지고 있다. 고품질 데이터 확보, 프롬프트 엔지니어링, 검색증강생성(RAG), 인간 피드백 기반 강화학습(RLHF) 등 여러 방법이 도입되고 있지만, 환각 현상을 완전히 해결할 수 있는 단일 해법은 아직 없다. 오히려 모델을 보수적으로 조정하면 답변의 다양성이 줄고, 실시간 응답성이 떨어지는 등 부작용도 발생한다.
업계와 전문가들은 최신 AI 모델의 환각률 증가 원인에 대해 다음과 같은 요인들을 지적하고 있다. 최신 모델(o3, o4-미니 등)은 이전 모델보다 더 많은 사용자 요청에 응답하고, 더 다양한 주장을 시도한다. 이 과정에서 정확한 결과뿐 아니라 잘못된 결과(환각)도 함께 늘어난 것으로 분석된다. 즉, 모델이 더 적극적으로 답변을 생성하면서 부정확한 정보도 더 많이 만들어내는 것이다. 또한, 신형 모델들은 복잡성이 증가하고, 추론 능력이 확장되면서 더 많은 정보를 생성한다. 하지만 이로 인해 실제로 존재하지 않거나 맥락에 맞지 않는 답변을 사실처럼 제시하는 환각 현상이 심화될 수 있다. 일부 전문가들은 강화학습 등 최신 학습 방식이 모델의 환각률에 영향을 미칠 수 있다고 지적한다. 강화학습은 모델이 사용자의 피드백을 통해 성능을 개선하도록 하지만, 때때로 잘못된 정보를 강화할 위험도 내포한다.
오픈AI 등 주요 개발사들은 환각률 증가의 정확한 원인을 아직 명확히 규명하지 못하고 있다. 현재로서는 “더 많은 연구가 필요하다”는 입장을 밝히고 있다.
생성형 AI의 할루시네이션 문제는 단순한 기술적 결함이 아닌, AI 신뢰성의 본질적 한계로 자리잡고 있다. 최신 모델일수록 환각률이 오히려 높아지는 현상은, AI가 인간의 의사결정 과정에 깊숙이 관여하는 시대에 더욱 심각한 경고로 받아들여진다. 사회 각계의 경각심과 함께, 신뢰성 확보를 위한 근본적 대책 마련이 시급하다.
