최근 글로벌 비즈니스 현장에서 생성형 AI를 활용해 작성된 보고서에서 치명적인 오류가 발견되는 사례가 잇따르고 있다. 존재하지 않는 가상의 기업 정보나 투자 수치가 사실처럼 포함되는 이른바 'AI 환각(Hallucination)' 현상은, 별도의 검증 없이 대외 자료나 제안서에 인용될 경우 기업의 신뢰도에 심각한 타격을 줄 수 있다는 지적이다.
AI '환각' 현상, 왜 발생하나?
AI를 조직의 유능한 신입사원에 비유하며 활용을 권장하는 시각도 있지만, 실제 업무에서는 AI가 사실과 다른 내용을 너무나 자연스럽게 제시하는 경우가 발생한다. 이러한 기본적인 사실 오류가 반복되는 원인으로는 생성형 AI의 핵심 작동 원리인 '확률'에 주목할 필요가 있다. AI는 방대한 데이터를 학습하여 가장 확률 높은 단어를 순차적으로 조합해 문장을 생성하는데, 이 과정에서 실제 사실과 무관한 내용을 그럴듯하게 만들어낼 수 있다.
AI 환각 현상 예방 및 대응 방안
- AI가 생성한 정보는 반드시 교차 검증하는 절차를 마련해야 한다.
- AI 활용 목적을 명확히 하고, 중요한 의사 결정 과정에서는 인간의 최종 판단을 거치도록 해야 한다.
- AI의 한계를 명확히 인지하고, 비판적인 시각으로 정보를 수용하는 자세가 필요하다.