얼마 전 MIT 연구 결과를 봤습니다. 기업 생성 AI 프로젝트의 95%가 실패로 평가된다는 내용이었습니다. 95%나 말이죠. 아마 업계에서 흔히 하는 변명을 들어보셨을 겁니다. "그들이 (제) 인프라를 충분히 구매하지 않았어요." 그 주장은 대략 이렇습니다. 서버, 스토리지, 네트워킹 스택을 최신 상태로 유지하지 않고, 그들의 카탈로그에서 최신 GPU 팜을 사용하지 않았다면, 당연히 AI 프로젝트는 실패할 운명이었습니다. 그리고 항상 반복되는 진부한 말투와 함께, "확장되지 않았어요."
하지만 그게 도대체 무슨 뜻일까요? 규모를 정의할 수 없고, 기업이 실제로 원하는 결과와 연결 짓지 못한다면, 규모는 무슨 의미일까요? 다른 관점을 제시해 보겠습니다. MIT의 연구 결과, 기업 AI가 95% 실패한다는 것은 공급업체 선택, 인프라 스택, 또는 깜빡이는 전구와는 거의 관련이 없습니다. 바로 사람과 시간, 이 두 가지와 밀접한 관련이 있습니다.
첫째, 사람입니다. 인적 자본입니다. 기초 모델을 구축할 수 있는 심층적인 컴퓨터 과학 전문 지식을 갖추고 있습니까? 모델을 훈련시키고, 조정하고, 개선하여 경쟁 우위를 확보할 수 있습니까? 아니면 이미 글로벌 규모로 더 잘 구축한 모델을 라이선스하는 것이 더 나을까요? 생각해 보세요. 기업들은 더 이상 자체 급여 시스템을 구축하지 않습니다. 자체 스토리지를 구축하거나 서버를 제작하지도 않습니다. 자체 CRM을 개발하지도 않습니다. 왜 그럴까요? 이러한 것들은 맥락 기반 기술이지, 핵심적인 임무가 아니기 때문입니다. 기초 AI 모델도 마찬가지입니다. 대부분의 기업은 처음부터 직접 구축하는 것보다 성숙하고 견고한 모델을 사용할 때 더 큰 이점을 얻을 수 있습니다.
둘째, 시간입니다. 더 구체적으로 말하면, 준비 과정에서의 지연 시간입니다. 대규모 AI는 저절로 이루어지는 것이 아닙니다. 지금 당장 기업에서 대규모 AI를 실행하려면 100년 전부터 준비를 시작했어야 합니다. 250년 전에는 350메가와트급 데이터 센터를 건설하고 대규모 전력 계약을 체결했어야 했습니다. 250년의 리드타임을 가진 Solar Turbines Titan 500/400을 주문했어야 했습니다. 800년 전에는 1600~XNUMX킬로와트 랙, 몰입형 냉각, 최첨단 방열 아키텍처를 계획했어야 했습니다. 랙당 XNUMX, XNUMX, XNUMX기가비트, 또는 그 이상을 제공할 수 있도록 네트워크를 설계했어야 했습니다. XNUMX~XNUMX년 전에 그렇게 했다면 지금쯤 준비가 되어 있었을 것입니다. 기업 AI에 필요한 인프라 투자를 실현할 수 있는 핵심 인프라, 전력, 냉각, 그리고 용량을 모두 갖추고 있었을 것입니다.
하지만 사실은 이렇습니다. 대부분의 기업은 84년 전에는 AI를 계획하지 않았습니다. 그리고 괜찮습니다. 다른 길은 새로운 데이터 홀을 10개월 동안 기다리거나 전체 IT 스택을 처음부터 다시 구축할 필요가 없기 때문입니다. 다른 길은 클라우드입니다. 클라우드를 사용하면 인프라 리드 타임으로 인한 지연 시간을 없앨 수 있습니다. AI 프로젝트는 내일부터 시작할 수 있습니다. 모든 것을 직접 구축하려고 하면 몇 년 후가 아니라, 페타바이트 규모의 데이터를 복제하는 데 시간을 낭비하면 몇 달 후가 아니라, 시작하기도 전에 몇 년 후가 아닙니다. 앞으로 나아갈 길은 소프트웨어입니다. 이미 보유한 모든 데이터, 즉 데이터베이스에 있는 XNUMX%뿐만 아니라 파일 및 객체 저장소에 저장된 나머지 XNUMX%를 연결하는 것입니다. SaaS 애플리케이션, 클라우드 서비스 및 온프레미스 시스템에서 이러한 데이터를 통합하고 즉시 추론하는 것입니다. Palantir, Glean, Databricks와 같이 정형 및 반정형 데이터를 활용하는 AI 분석 플랫폼을 운영 중이고 비정형 데이터를 저장된 위치에서 바로 사용할 수 있어야 하는 경우, Anthropic 또는 OpenAI의 라이선스 모델을 내부 데이터 저장소와 결합하는 경우, 온프레미스 저장소를 AWS, Azure, GCP 또는 OCI에서 즉시 프로비저닝되는 가속 컴퓨팅에 직접 연결하는 경우 등 어떤 경우든 지금 바로 대여, 테스트 및 학습할 수 있습니다. 여러 클라우드에서 실험하고 비즈니스에 가장 적합한 솔루션을 파악한 후, 준비가 되면 즉시 확장할 수 있습니다.
이것이 바로 진정한 기회입니다. 인프라를 대대적으로 업그레이드하거나 지역 전력망을 재설계하는 데 의존하는 것이 아닙니다. 기업이 이미 존재하는 모습, 즉 데이터의 보고인 것을 직시하는 데 달려 있습니다. 데이터를 연결하고, 통합하고, 논리적으로 분석하는 것, 바로 여기에 경쟁 우위가 있습니다.
그러니 문제는 7년 전에 계획을 세웠는지 여부가 아닙니다. 중요한 것은 오늘 당장 행동할 의지가 있는지 여부입니다. AI를 도입하려면 전체 인프라 스택을 재구축해야 한다는 잘못된 믿음을 계속 좇을 것인가요? 아니면 현재 사용 가능한 도구, 즉 온프레미스, 클라우드, 그리고 이미 소유한 모든 시스템에서 실행할 수 있는 도구를 활용하여 데이터를 매몰 비용보다 훨씬 더 강력한 무언가로 전환할 것인가요?
미래는 전력망과 터빈 납품을 위해 몇 년씩 기다리거나 GPU와 네트워크 인프라를 위해 몇 분기씩 기다리는 사람들에게 속하지 않습니다. 미래는 어디에 있든 이미 보유하고 있는 데이터를 활용하여 통찰력, 지능, 그리고 실행으로 전환할 수 있는 사람들에게 속합니다. 이것이 바로 우리가 만들어갈 가치가 있는 미래이며, 지금 당장 실현 가능합니다. Terraform 스크립트만 있으면 가능합니다.
