컨스텔레이션 네트워크와 커먼 크롤 재단의 협력이 17년 간의 인터넷 크롤 데이터를 안전하게 검증하고 접근할 수 있는 혁신적인 방법을 선보였다. 이번 출시는 업계 최초의 암호학적으로 안전하고 불변적인 인터넷 데이터 아카이브를 만드는 것을 목표로 하고 있다. 이 목표는 컨스텔레이션에 기반한 불변 블록체인 네트워크를 통해 이루어지며, 보안성을 최우선으로 한다.

이번 협력의 핵심은 9페타바이트 이상의 데이터로 구성된 17년 간의 인터넷 크롤 데이터를 안전하게 검증하고 접근하는 새로운 방법을 제공하는 것이다. 이 데이터는 현재 80%의 대형 언어 모델(LLM)에서 인공지능 훈련 목적으로 활용되고 있다. 이러한 혁신적인 애플리케이션 전용 네트워크는 메타그래프(Metagraph)로 알려져 있으며, 인공지능 개발에서 중요한 과제를 해결하는 동시에 블록체인 기술의 새로운 활용 사례를 탐구하고 있다.

또한 이 네트워크는 데이터를 아카이브하기 위한 안전성을 보장하기 위해 컨스텔레이션의 DAG 유틸리티 자산을 활용한다. 일반적인 레이어1 네트워크에서 발생하는 소비 비용이나 가스 요금 대신 운영 비용에 중점을 두어, 데이터 인증을 위한 기업의 암호화폐 활용에서 상당한 발전을 나타낸다.

콘텐츠 수확의 가장 큰 두 가지 기술 혁신 중 하나는 데이터 아카이빙의 포괄성이다. 이는 인공지능 및 머신러닝 데이터셋에 대한 한 번도 변경되지 않은 인터넷의 역사 기록을 제공하며, 그로 인해 투명성과 추적 가능성이 극대화된다. 또한 전 과정의 데이터 무결성을 보증하는 종단 간 암호화(End-to-End Encryption)도 포함되어 있다. 이러한 프레임워크는 대형 언어 모델의 데이터 수집, 저장 및 사용에 대한 문제를 해결하는 윤리적 인공지능(Artificial Intelligence) 접근 방식으로 중요한 역할을 한다.

콘스텔레이션 네트워크의 CTO인 알렉스 브랜데스는 "이번 통합은 AI 개발의 미래를 안전하게 하는 중요한 진전을 이루었다"며 "훈련 데이터의 암호 서명 무결성과 불변성을 확보함으로써 데이터셋의 신뢰성과 출처 문제를 다루고 있다"고 언급했다. 그는 또한 "이 플랫폼이 책임 있는 AI 개발의 기초가 되어 데이터 무결성과 신뢰의 새로운 기준을 설정할 것"이라고 기대감을 드러냈다.

이번 블록체인 기술로 구축된 데이터 아카이브는 고급 AI 연구 그룹의 주목을 받고 있으며, TraceAI 프로젝트와 같은 인공지능 팀들이 교육 모델에 대한 불변성, 감사 가능성 및 저작권 증명을 추가하기 위해 애플리케이션 전용 네트워크를 개발 중이다. Kevin Jackson, 포워드 엣지AI의 부사장은 "AI 및 머신러닝 모델 개발의 자연스러운 진화를 나타내며, 데이터 관리가 기술적인 과제로부터 신뢰할 수 있는 비즈니스 도구로 변모하고 있다"고 강조했다.

향후 몇 달 동안 컨스텔레이션 네트워크와 커먼 크롤 재단은 인공지능 개발자를 위한 솔루션 세트를 확대하고 크롤에 대한 암호학적 검증 접근을 표준 배포 과정에 통합하기 위해 협력할 예정이다. 커먼 크롤의 전무 이사인 리치 스크렌타는 "데이터 출처에 대해 우려하는 사용자들에게 컨스텔레이션과 하이퍼그래프 블록체인은 우아한 솔루션을 제공하며, 이를 통해 안전하게 크롤의 검증 기능을 추가할 수 있기를 기대한다"고 말했다.


crossorigin="anonymous">