인공지능(AI) 분야는 빠르게 발전하고 있으며, OpenAI와 같은 연구소들은 복잡한 ‘추론’ 모델을 통해 새로운 경지를 만날 수 있는 가능성을 보여주고 있다. 이러한 모델들은 단계별 문제 해결이 가능하여 복잡한 영역, 예를 들어 물리학에서의 우수성을 자랑하지만, 이러한 주장들을 검증하는 데 소요되는 비용이 급증하고 있다. 이는 독립적인 평가를 위한 큰 장애물이 되고 있으며, 특히 데이터 투명성을 중요하게 여기는 암호화폐 애호가 및 투자자들에게는 큰 우려의 대상이 된다.

AI 평가 비용의 현실은 점점 더 심각해지고 있다. 제3의 AI 테스트 회사인 Artificial Analysis가 이러한 고급 추론 모델을 평가하는 데 소요되는 비용의 급증을 지적하고 있다. 예를 들어, OpenAI의 o1 추론 모델을 평가하는 데는 무려 2,767.05 달러가 들며, 이는 MMLU-Pro, GPQA Diamond, MATH-500 등 일곱 가지 인기 AI 테스트를 포함하는 금액이다. Anthropic의 Claude 3.7 Sonnet은 1,485.35 달러, OpenAI의 o3-mini-high는 비교적 적은 금액인 344.59 달러지만, 여전히 상당한 비용이다.

Artificial Analysis는 12개의 추론 모델을 평가하기 위해 약 5,200 달러를 썼으며, 이는 80개 이상의 비추론 모델을 분석하는 데 소요된 2,400 달러의 거의 두 배에 해당한다. 기존의 비추론 모델, 예를 들어 OpenAI의 GPT-4o는 단 108.85 달러, Claude 3.6 Sonnet은 81.41 달러에 평가되었던 점과 비교할 때, 수치상의 차이는 충격적이다.

이러한 높은 비용의 주 원인은 토큰 생성이다. 추론 모델은 본질적으로 비추론 모델보다 훨씬 더 많은 토큰을 처리하고 생성하기 때문에, AI 회사들이 청구하는 토큰 사용량에 따라 비용이 크게 증가하게 된다. Artificial Analysis는 OpenAI의 o1 모델이 테스트 중 4400만 개의 토큰을 생성했다고 보고했으며, 이는 GPT-4o보다 8배에 달하는 수치이다. 현대의 벤치마크는 복잡한 실제 업무를 평가하도록 설계되어 있어 모델이 복잡한 다단계 문제를 해결하는 과정에서 더 많은 토큰을 생성하도록 유도하고 있다.

AI 스타트업 General Reasoning의 CEO인 Ross Taylor는 Claude 3.7 Sonnet을 3,700개의 프롬프트로 평가하는 데 580 달러를 썼다고 밝혔다. 그는 MMLU Pro의 단일 실행에 1,800 달러가 들 것으로 예상하고 있으며, 자금이 충분한 AI 연구소들은 광범위한 벤치마킹이 가능한 반면, 학계나 독립 연구자들은 그렇지 못하다는 불균형을 지적하고 있다. 이로 인해 AI 연구의 재현 가능성에 대한 중대한 질문이 제기되며, 철저한 벤치마킹을 수행할 수 있는 연구소가 아닌 곳에서는 과연 이러한 결과들을 보편적으로 검증 가능한 과학으로 간주할 수 있을지 의문이 든다.

AI 평가와 투명성의 미래를 탐색할 필요성이 대두되는 가운데, 일부 AI 연구소는 시험을 위한 모델에 대해 보조금 접근을 제공하지만, 이는 잠재적인 편향 문제를 초래할 우려가 있다. 암호화폐 커뮤니티와 같이 분산화와 신뢰 시스템을 중시하는 영역에서는, 평가 과정의 무결성을 해칠 수 있는 이른바 '이익 편향'이 우려된다. 따라서 투명성과 독립적인 검증이 절대적으로 필요하다.

결론적으로, AI 모델을 평가하는 비용의 급증은 단순한 기술적 문제를 넘어서 경제적이고 철학적인 문제로도 이어지고 있다. AI가 다양한 분야에 통합되어 가고 있는 이때, 특히 암호화폐 시장에도 영향을 미칠 수 있는 가능성이 있는 만큼, 투명하고 검증 가능한 AI 성능 확보가 중요하다. 따라서 독립 AI 평가를 위한 지속 가능하고 접근 가능한 해결책을 모색하는 것이 필수적이다.


crossorigin="anonymous">