얼마 전 MIT에서 발표한 연구 결과를 본 적이 있습니다. 기업에서 진행한 인공 지능 프로젝트의 95%가 실패로 판정되었다는 내용이었죠. 95%라고요. 여러분은 이미 업계에서 이런 변명을 들어보셨을 것입니다: "(인프라를) 충분히 구매하지 않았기 때문입니다." 서버, 스토리지, 네트워킹 스택을 새로 교체하지 않았고, 카탈로그에서 최신 GPU 팜을 실행하지 않았다면 당연히 AI 프로젝트는 실패할 수밖에 없다는 주장입니다. 그리고 항상 그 지겨운 후렴구가 따라붙습니다: "확장되지 않았어요."
하지만 규모란 도대체 무엇을 의미할까요? 규모를 정의할 수 없고, 기업이 실제로 중요하게 생각하는 성과와 연결할 수 없다면 규모란 무엇을 의미할까요? 다른 관점을 제시해 보겠습니다. 엔터프라이즈 AI가 95%의 경우 실패한다는 MIT의 연구 결과는 공급업체 선택, 인프라 스택 또는 깜빡이는 불빛의 랙과는 거의 관련이 없습니다. 이는 사람과 시간이라는 두 가지 요소와 관련이 있습니다.
첫째, 사람입니다. 인적 자본. 기본 모델을 구축할 수 있는 심도 있는 컴퓨터 과학 전문 지식을 보유하고 있나요? 이를 훈련하고, 조정하고, 경쟁 우위가 될 때까지 개선할 수 있을까요? 아니면 이미 글로벌 규모로 더 잘 구축한 사람이 구축한 모델을 라이선스하는 것이 더 낫나요? 생각해 보세요. 기업은 더 이상 자체 급여 시스템을 구축하지 않습니다. 자체 스토리지를 구축하거나 자체 서버를 제작하지 않습니다. 자체 CRM을 구축하지도 않습니다. 왜 그럴까요? 이러한 기술은 상황에 맞는 기술이지 미션의 핵심이 아니기 때문입니다. 기본 AI 모델도 마찬가지입니다. 대부분의 기업은 처음부터 구축하는 것보다 성숙하고 강화된 모델을 사용하는 것이 더 많은 활용도를 얻을 수 있습니다.
둘째, 시간입니다. 좀 더 구체적으로 말하자면 준비에 걸리는 지연 시간입니다. 대규모 AI는 그냥 생기는 것이 아닙니다. 오늘날 기업에서 대규모 AI를 실행하고 싶다면 사실 7년 전부터 준비를 시작했어야 합니다. 7년 전에 100메가와트급 데이터센터를 건설하고 대규모 전력 계약을 체결했어야 합니다. 리드 타임이 7년인 태양열 터빈 타이탄 250/350을 주문했어야 합니다. 3년 전에는 250~500킬로와트 랙, 몰입형 냉각, 최첨단 방열 아키텍처를 계획했어야 합니다. 랙당 400, 800, 1600 기가비트 또는 그 이상을 제공하도록 네트워크를 설계했어야 합니다. 3~7년 전에 그렇게 했다면 오늘날에는 준비가 끝났을 것입니다. 엔터프라이즈 AI에 필요한 인프라 투자를 실현할 수 있는 핵심 인프라, 전력, 냉각 및 용량을 갖추었을 것입니다.
하지만 사실 대부분의 기업은 7년 전에는 AI를 계획하지 않았습니다. 하지만 괜찮습니다. 다른 길은 84개월 동안 새로운 데이터 홀을 기다리거나 전체 IT 스택을 처음부터 다시 구축할 필요가 없으니까요. 다른 길은 클라우드입니다. 클라우드를 사용하면 인프라 리드 타임의 지연을 없앨 수 있습니다. 모든 것을 직접 구축하려고 하면 몇 년 후가 아니라 내일부터 AI 프로젝트를 시작할 수 있고, 시작도 하기 전에 페타바이트급 데이터를 복제하느라 시간을 낭비하면 몇 달 후가 아니라 몇 달 후부터 시작할 수 있습니다. 앞으로 나아갈 길은 소프트웨어입니다. 데이터베이스에 있는 10%의 데이터뿐만 아니라 파일 및 개체 저장소에 잠겨 있는 나머지 90%의 데이터까지 이미 보유하고 있는 모든 데이터를 연결하는 것입니다. SaaS 애플리케이션, 클라우드 서비스, 온프레미스 시스템 전반에서 데이터를 통합하고 이를 통해 즉시 추론하는 것입니다. 정형 데이터와 반정형 데이터에서 잘 작동하고 비정형 데이터도 있는 곳에서 사용할 수 있어야 하는 팔란티어, Glean, 데이터브릭스 같은 AI 분석 플랫폼을 실행하든, Anthropic 또는 OpenAI의 라이선스 모델을 내부 데이터 저장소와 결합하든, 온프레미스 저장소를 AWS, Azure, GCP 또는 OCI에서 즉시 프로비저닝되는 가속 컴퓨팅에 직접 연결하든, 지금 대여, 테스트, 교육할 수 있습니다. 여러 클라우드에서 실험하고, 비즈니스에 가장 적합한 것이 무엇인지 알아보고, 준비가 되면 지체 없이 확장할 수 있습니다.
이것이 바로 진정한 기회입니다. 인프라의 대대적인 업그레이드에 의존하지 않아도 됩니다. 로컬 전력망의 재설계에 의존하지 않아도 됩니다. 데이터의 보고인 기업을 있는 그대로 바라보는 데 달려 있습니다. 연결하세요. 통합하세요. 이를 통해 추론하세요. 바로 여기에 경쟁 우위가 있습니다.
따라서 중요한 것은 7년 전에 계획을 세웠는지 여부가 아닙니다. 문제는 지금 당장 실행할 의지가 있느냐는 것입니다. AI를 도입하려면 전체 인프라 스택을 재구축해야 한다는 신화를 계속 쫓아갈 것인가요? 아니면 온프레미스, 클라우드, 이미 보유한 모든 시스템에서 실행할 수 있는 현재 사용 가능한 도구를 활용하여 매몰 비용보다 훨씬 더 강력한 데이터로 전환하시겠습니까?
미래는 전력망과 터빈 공급을 위해 몇 년을 기다리거나 GPU와 네트워크 인프라를 위해 몇 분기를 기다리는 사람들의 것이 아닙니다. 미래는 데이터가 어디에 있든 이미 보유하고 있는 데이터를 활용하여 인사이트, 인텔리전스 및 행동으로 전환할 수 있는 사람들의 것입니다. 이러한 미래는 구축할 가치가 있으며, 테라폼 스크립트만 있으면 지금 바로 달성할 수 있습니다.