에이전트 AI는 정적인 모델 중심 워크플로우에서 인간의 지속적인 감독 없이 계획, 실행 및 적응하는 지속적 추론 시스템으로의 전환을 의미합니다. RAG를 사용하는 LLM은 쿼리 시점에 새로운 정보를 가져올 수 있지만, 에이전트 시스템은 실시간 데이터 요구량이 증가하여 추론 도중에도 검색 및 컨텍스트 적응이 지속적으로 이루어집니다. 이는 근본적인 데이터 문제를 야기합니다. 각자 고유한 작업을 수행하는 여러 에이전트가 서로의 상태를 침해하지 않고 동일한 변화하는 컨텍스트에 접근하고 공유해야 하기 때문입니다. 그렇지 않으면 추론이 단편화되고 출력이 표류하며 후속 워크플로우가 실패합니다.
에이전트 AI는 일회성 프롬프트를 지속적인 추론으로 대체합니다. 에이전트는 환경을 감지하고, 관련 맥락을 회상하고, 계획하고, 행동하고, 반복적으로 평가하여 보상 함수를 극대화합니다. 이러한 기능이 대규모로 작동하려면 지속적인 데이터 루프가 발맞춰 움직여야 합니다. 에이전트가 생각할 때마다 새로운 신호가 수집, 큐레이션 및 버전 관리되고, 인덱싱(임베딩 포함)된 후, 변경 불가능한 슬라이스로 검색됩니다. 데이터 루프는 텍스트, 이미지, 비디오, 센서 스트림을 포함한 방대한 양의 비정형 데이터로 구동됩니다. 이러한 데이터 세트는 클라우드, 데이터 센터, 엣지 환경 전반에 걸쳐 점점 더 지리적으로 분산되고 있습니다. 작업과 결과는 출처를 기반으로 체크포인트를 생성하고 큐레이션으로 다시 피드백되므로, 다음 추론 단계는 일관되고 감사 가능한 상태에서 시작됩니다. 단일 에이전트 흐름에서는 이는 단순한 검색 및 맥락 패턴이지만, 다중 에이전트 시스템에서는 지속적인 체크포인트, 스냅샷 고정 읽기, 동시 검색, 정책 기반 액세스 및 계보를 요구합니다. 두 루프가 긴밀하게 결합되지 않으면 에이전트는 오래된 컨텍스트에서 멈추고, 변화하는 데이터에서 충돌하고, 재현성에서 실패하게 됩니다. 따라서 차세대 AI 시스템이 엔터프라이즈 규모에 도달할 수 있는지 여부는 데이터 아키텍처가 결정적인 요소가 됩니다.
앤드류 응이 말했듯이 "많은 애플리케이션의 병목 현상은 소프트웨어에 필요한 적절한 데이터를 얻는 것"이고, 스노우플레이크 CEO가 깔끔하게 표현했듯이 "오늘날의 AI를 구동하는 것은 모델에 관한 것이 아니라, 모델을 공급하는 데이터 계층에 관한 것입니다."
주요 과제
- 사일로화된 인프라 전반의 비정형 데이터 관리
Agentic AI의 다중 에이전트 모델은 다양한 데이터 세트에 대한 원활한 접근을 요구합니다. 고객 기록, IoT 원격 측정, 운영 규칙 등 정보가 분산되면 파이프라인이 복잡해지고 성능 병목 현상이 발생합니다. 데이터 접근 지연으로 인해 GPU의 효율성이 저하되고, AI 애플리케이션의 성능 저하로 인해 컴퓨팅 비용이 증가합니다. 민첩성을 유지하려면 사전 학습, 미세 조정 및 증강을 위해 관련 데이터 세트를 최소한의 지연 시간으로 조율해야 합니다.
61%의 리더가 AI 에이전트를 배치하고 있지만 가트너 15년까지 자동화율이 2028%에 그칠 것으로 예상되며, 이는 분산된 데이터 사일로가 에이전트 ROI를 저해한다는 점을 보여줍니다.
- 적응형 워크플로를 위한 데이터 큐레이션 및 제공
지속적인 학습 워크플로에는 신속하고 타겟팅된 데이터 전달이 필요합니다. 복잡함 큐레이션은 프로젝트 시간의 30~50%를 소모합니다.특히 소셜 미디어 감정 스트림과 같은 동적 소스의 경우 더욱 그렇습니다. 다중 에이전트 CI/CD 파이프라인은 여러 학습 모델을 동시에 처리해야 하며, 사소한 데이터 지연이라도 에이전트 간 처리에 지장을 줄 수 있습니다.
Forbes 보고서에 따르면 데이터 실무자의 시간 중 최대 79%가 데이터 세트를 준비하는 데 소요되며, 이는 자동화되고 버전이 관리되는 전달 파이프라인이 왜 중요한지를 강조합니다.
- 안전, 윤리 및 규정 준수를 위한 데이터 관리
자율 시스템은 특히 일부 업계 사례에서 볼 수 있듯이 데이터 계보의 35% 이상이 추적 불가능할 경우 규정 준수 위험을 증가시킵니다. 데이터 출처, 변환 및 사용에 대한 완전한 투명성이 확보되지 않으면 기업은 법적, 평판적, 운영적 위험에 직면하게 됩니다. 추적 가능성 부족은 규제 대상 분야에서 필수적인 설명 가능성, 편향 탐지 및 개인정보 보호 기능을 약화시킵니다.
AI 이니셔티브의 75%는 데이터 불일치로 인해 실패하고 69%는 생산에 들어가지 않는다고 합니다. 테크 레이더, 깨끗한 데이터와 추적성은 선택 사항이 아니라 에이전트 시스템의 임무 수행에 필수적입니다.
아키텍처 요구 사항
튜링상 수상자인 얀 르쿤은 "더 많은 데이터와 더 많은 연산"만으로는 마법처럼 더 똑똑한 AI를 만들어낼 수 없다고 강조합니다. 시스템에 무엇을 입력하는지, 입력의 일관성은 얼마나 높은지, 그리고 정보가 어떻게 구조화되고 관리되는지가 가장 중요합니다. 결국 "고양이 수준"의 지능에 도달하는 것조차 여전히 어려운 과제이며, 이는 에이전트 AI가 단순한 규모 그 이상을 요구하는 이유를 보여줍니다.
통합 데이터 액세스
하이브리드/멀티 클라우드 글로벌 네임스페이스(GNS)는 클라우드, 엣지, 온프레미스의 모든 데이터 세트를 단일 논리적 뷰로 통합합니다. 이를 통해 수동 위치 관리, 데이터 중복 및 버전 불일치 문제를 해결하여 상담원이 완전하고 일관된 정보 세트를 활용하여 운영할 수 있습니다.
크로스 프로토콜 지원
데이터 루프의 각 단계는 컨테이너에 배포된 다양한 라이브러리를 활용하며, POSIX/객체 인터페이스의 이점을 각기 다르게 활용합니다. ETL 및 학습 워크로드는 POSIX의 이점을, 레이블링 워크로드는 객체 인터페이스의 이점을 활용합니다. 파일(SMB, NFS), 객체(S3), API(REST) 액세스를 지원하는 플랫폼은 비용이 많이 드는 플랫폼 재구축을 방지하여 에이전트가 데이터 마이그레이션 지연 없이 여러 환경에서 네이티브로 작동할 수 있도록 합니다.
최적화 된 성능
히트맵 또는 프리페칭을 활용한 지능형 캐싱은 단일 클러스터 또는 지리적으로 분산된 클러스터 집합에서 저지연 액세스를 보장합니다. 원격 데이터가 어디에 있든 유연하고 저지연 액세스를 통해 에이전트는 자율 진단과 같은 영역에서 실시간 의사 결정을 내릴 수 있습니다.
확장성, 성능, 동시성
Agentic AI는 병목 현상이나 상태 변경 없이 여러 에이전트에 큐레이션된 데이터 세트를 고속으로 동시에 전달해야 합니다. 내장된 버전 관리, 변경 불가능한 스냅샷 및 인덱싱 기능은 모든 에이전트가 일관된 데이터 세트를 기반으로 작동하도록 보장합니다. CI/CD 파이프라인과의 통합은 학습, 검증, RAG 및 미세 조정 전반에 걸쳐 업데이트, 테스트 및 배포를 자동화합니다. 이러한 기능이 없으면 다중 에이전트 시스템은 데이터 드리프트, 중복 처리 및 연쇄적인 속도 저하에 직면하게 됩니다.
강력한 거버넌스 및 출처 추적
자동화된 데이터 출처 분석은 모든 데이터 변환, 이동 및 액세스 이벤트에 대한 상세하고 시간순 기록을 수집합니다. 이를 통해 규정 준수 보고가 용이해지고, 감사가 지원되며, 오용을 감지하고, 설명 가능성 및 편향 완화를 위한 의사 결정 맥락을 재구성합니다.
제품 개요
간단히 말해서 Agentic AI를 확장하는 것은 데이터 아키텍처 과제 AI 과제로서. 성공을 위해서는 페타바이트 규모의 분산된 비정형 데이터를 조율하는 동시에 안전하고 효과적인 자율 시스템에 필수적인 투명성, 보안성, 민첩성을 유지할 수 있는 통합적이고 고성능이며 거버넌스에 최적화된 데이터 플랫폼이 필요합니다. Qumulo의 클라우드 데이터 플랫폼은 이러한 과제를 해결하기 위해 설계되었습니다. 더 자세한 내용은 LINK.
