최근 앤트로픽의 AI 채팅봇 클로드(Claude)가 생성한 가짜 법적 인용문으로 인해 법정에서 사과하는 상황이 발생했다. 이 사건은 AI가 법률 분야에서 요구되는 높은 정확성을 충족하지 못하는 위험성을 드러내며, 인공지능의 한계를 재조명하게 만들었다.

사건은 앤트로픽이 저작권 소송을 벌이고 있는 북부 캘리포니아 법원에서 발생했으며, 이 사건에서 법무팀은 클로드 AI가 생성한 오류가 있는 인용문을 사용한 사실을 인정했다. AI는 완전히 허위의 법적 인용문을 만들어내며, 잘못된 제목과 저자 정보를 제공했다. 이러한 오류는 앤트로픽의 변호사들이 시행하는 수동 인용 확인 절차에서도 감지되지 않아 법정에서 사과에 이르게 되었다.

앤트로픽 변호사는 이 오류를 "정직한 인용 실수"라고 표현하며, 이는 고의적인 권위의 조작이 아니라고 설명했다. 하지만 이 사건은 법적 절차처럼 고도 정밀성이 요구되는 분야에서 인공지능 통합 시 발생할 수 있는 중대한 위험성을 강조한다. AI는 효율성을 제공할 수 있는 잠재력을 가지고 있지만, 사실과 같은 그럴듯한 정보를 생성하는 현상인 'AI 오작동' 역시 큰 장애물로 작용하고 있다.

법조계에서 AI 사용의 도전 과제는 단순히 이 사건에 국한되지 않는다. 최근 유니버설 뮤직 그룹과 다른 음악 퍼블리셔의 변호사들이 앤트로픽의 전문가 증인이 클로드를 사용하여 허위 기사를 인용했다는 주장을 제기하면서 앤트로픽은 연방법원 판사 수잔 반 퀼렌에 의해 공식적인 답변을 요구받는 상황이 발생하기도 했다.

이러한 사례는 저작권 소유자들과 기술 기업 간의 법적 분쟁 가운데 AI가 저작권을 침해하는지, 아니면 공정 사용을 주장할 수 있는지에 대한 복잡한 쟁점을 드러내고 있다. 최근 법조계에서는 AI로 인해 발생하는 오류들이 논란을 일으킨 사례가 여러 차례 보고되었다. 예를 들어, 캘리포니아의 한 판사는 법원에 "가짜 AI 연구"를 제출한 두 법무법인에 대해 비난을 하였고, 호주에서는 한 변호사가 ChatGPT를 사용하여 잘못된 인용문이 포함된 법원 문서를 제출해 곤란을 겪은 바 있다.

이러한 사건들은 법조인들이 AI 도구를 활용할 때 극도의 주의와 효과적인 검증 절차를 도입할 필요성을 강조한다. AI는 법률 조사, 문서 검토 및 계약 분석에서 큰 잠재력을 발휘할 수 있지만, 현재의 기술은 필연적으로 사용자의 확인을 요구하며, 법적 정확성이 요구되는 상황에서 AI 도구에만 의존하는 것은 매우 위험하다는 점이 분명해졌다.

현재 법률 기술 투자 분야에서는 AI의 장기적 변화를 기대하며, 여러 스타트업들이 활발한 투자를 받고 있다. 예를 들어, 하비(Harvey)는 변호사들을 돕기 위해 생성 AI 모델을 사용하는 기업으로, 2억 5천만 달러 이상의 자금을 조달하려 하고 있으며, 이는 50억 달러의 가치를 지닌 기업으로 평가될 수 있다. 이러한 흐름은 현재의 AI 도구들이 정확도와 관련된 문제를 안고 있음에도 불구하고, 장기적으로 법적 작업의 효율성과 능력에 대한 투자자들과 법조인들의 신뢰를 보여준다.

앤트로픽의 사건은 고도의 정확성을 요구하는 법률 업무에 AI 도구를 도입하고자 하는 전문가들에게 주의할 점을 일깨워주는 사례로, AI의 잠재력과 함께 발생할 수 있는 위험성을 명확히 하고 있다. AI 기술이 발전함에 따라 정확성과 신뢰성의 향상이 기대되지만, 현재 사용자들은 AI의 한계를 인지하고 철저한 검증을 통해 심각한 결과를 초래할 수 있는 오류를 방지해야 할 필요가 있다.


crossorigin="anonymous">