https://the-decoder.com/us-companies-invest-big-in-ai-but-measuring-success-remains-a-challenge/
https://a16z.com/generative-ai-enterprise-2024/

미국 기업들은 빠르게 제너레이티브 AI 시스템을 도입하고 지출을 크게 늘리고 있습니다. 하지만 여전히 가장 큰 문제는 투자 대비 얼마나 많은 수익을 거둘 수 있을지를 파악하는 것입니다.

제너레이티브 AI로 인해 미국 상위 기업들 사이에서 지출이 급증하고 있습니다. 포춘 500대 기업의 리더 70명을 대상으로 한 Andreessen Horowitz의 설문조사에 따르면 응답한 거의 모든 기업이 2024년까지 대규모 언어 모델(LLM) 및 기타 AI 시스템에 2~5배 더 많은 비용을 지출할 계획이라고 답했습니다.

2023년에 기업들은 기본 모델 API, 모델 자체 실행, 모델 개선에 각각 약 700만 달러를 지출했습니다. 하지만 이제는 단기적인 혁신 자금이 아닌 대규모의 지속적인 소프트웨어 예산이 이를 위해 사용되고 있습니다.

ROI 측정은 여전히 주요 과제

일부 기업에서는 이미 고객 서비스 직원을 통해 절감한 비용으로 AI에 투자하고 있습니다. 한 회사는 LLM의 도움으로 통화 비용을 90%(통화당 6달러) 절감하여 AI 예산을 8배나 늘렸다고 합니다.

대규모 투자에도 불구하고 기업들은 AI 지출이 그만한 가치가 있는지 판단하는 방법을 잘 모릅니다. "리더들은 이 질문에 대한 해답을 찾고 있지만, 많은 기업은 직원들이 시간을 더 잘 활용하고 있다고 말하는 것을 믿고 있습니다."라고 Andreessen Horowitz의 애널리스트들은 말합니다.

Ethan Mollick 등의 연구에 따르면 직원들이 더 효율적이고 더 높은 품질로 일할 수 있다고 해도 이러한 이점을 일상 업무에서 실제로 전달하고 있는지는 여전히 의문입니다. 기업들은 종종 성공을 안정적으로 측정할 수 있는 의미 있는 지표가 부족합니다.

생산성 증가는 긍정적인 지표로 여겨지지만, 리더들은 AI 사용 방식에 따라 매출 증대, 비용 절감, 효율성 및 정확성 향상과 같은 보다 명확한 징후를 원합니다.

AI의 이득을 추적하는 명확한 방법은 앞으로 2~3년은 더 어려울 것입니다. 그때까지는 비즈니스 이점이 항상 명확하지 않더라도 AI 지출은 증가할 것입니다.

멀티 모델 AI의 성장

클라우드 AI 모델은 여전히 널리 사용되고 있습니다. 설문조사에 참여한 기업의 절반 이상이 클라우드 제공업체에서 호스팅하는 모델을 사용하고 있습니다.  또한 기업들은 앱을 개선하고 단일 제공업체에 대한 의존도를 낮추기 위해 여러 AI 모델을 사용하기 시작했습니다. 오픈 소스 모델이 더 많은 제어 및 사용자 지정 기능을 제공한다는 인식이 확산되면서 오픈 소스 모델의 인기가 높아지고 있습니다.

하지만 여전히 OpenAI와 같은 대형 제공업체의 모델이 핵심입니다. OpenAI는 Google, Llama, Anthropic, Mistral, Cohere보다 훨씬 앞서 있습니다(~40%). AI 모델을 커스터마이징하는 데 있어서는 미세 조정(72%)이 데이터베이스 채팅(RAG, 22%)을 앞섰습니다. 처음부터 모델을 만드는 기업은 6%에 불과했습니다.

보고서에 따르면 기업들은 시장 솔루션을 구매하기보다는 챗봇과 같은 인기 있는 AI 애플리케이션을 사내에 구축하는 데 주력하고 있습니다. 가장 일반적인 애플리케이션은 여전히 직원의 생산성을 높이는 데 목적이 있습니다.

기본 AI 모델을 사용할 수 있다면 사내에서 유용한 애플리케이션을 만드는 데 필요한 작업량을 줄일 수 있습니다. 또한 조직은 필요에 맞는 보다 구체적인 인터페이스를 실험해 보아야 합니다.