생성형 인공지능(AI) 도구의 사용량 급증으로 인한 비용 관리가 기술 기업들의 새로운 경영 과제로 떠올랐다. 지난 4월과 5월 약 300개 기업이 실적 발표나 애널리스트 설명회에서 AI 토큰 관련 질문이나 우려사항을 언급한 것으로 나타났다. 이는 1년 전 같은 기간 토큰을 언급한 93개 기업 대비 3배 이상 증가한 수치다.
실제로 여러 기업의 최고경영진들이 토큰 사용량의 급격한 증가를 보고하고 있다. 캐나다 로열은행(Royal Bank of Canada)의 최고경영자는 지난 6개월간 토큰 사용량이 500% 급증했다고 공개했으며, 시스코(Cisco)의 척 로빈스(Chuck Robbins) 최고경영자는 직원 3분의 1이 내부 AI 챗봇을 일일이용하면서 「토큰 사용량이 정말 심각한 수준」이라고 말했다. 분석 소프트웨어 개발사 앰플리튜드(Amplitude)의 일부 엔지니어들은 월 수천 달러 이상을 토큰에 소비하고 있는 것으로 알려졌다.
다만 모든 기업이 비용 증가에 우려하는 것은 아니다. 소프트웨어 플랫폼 기업 8x8은 지난 18개월간 인공지능 도입을 통해 약 500만 달러의 연간 비용을 절감했다. 조엘 니브(Joel Neeb) 8x8 최고변혁관리담당자는 「클로드(Claude)에 대한 연간 청구액이 절감액보다 훨씬 낮다」고 설명했다. 직원들이 클로드를 이용해 이메일 초안 작성, 고객 피드백 분석, 코딩 작업 등을 처리하면서 기존 소프트웨어 구독 서비스 수십 개를 취소할 수 있었기 때문이다.
뉴욕 롱아일랜드 소재 의류브랜드 베이스볼 라이프스타일 101(Baseball Lifestyle 101)은 더욱 공격적인 전략을 취하고 있다. 빌 롬(Bill Rom) 공동창업자 겸 최고전략담당자는 경영진 약 50명에게 월급의 약 20%에 해당하는 금액을 AI 토큰에 지출하도록 권장했다. 연 2억 5천만 달러의 매출을 예상하는 이 회사는 연말까지 월간 토큰 비용이 10만 달러를 초과할 것으로 예상하지만, 이미 효과가 드러나고 있다. 클로드가 재고 부족 상황을 파악해 소매점과 100만 달러 규모의 거래를 성사시켰으며, 이는 기존에 소요되던 1.5일의 작업을 1~2시간으로 단축했다.
업계 전문가들은 가격 변동성, 매월 출시되는 새로운 고가형 모델, 조직 전체의 AI 도입 및 운영 방식 전환의 어려움 등이 기업들의 토큰 비용 관리를 더욱 복잡하게 만들고 있다고 지적했다. 일부 기업은 토큰 사용량을 모니터링하고 가장 저렴한 모델을 선택할 수 있도록 하는 시스템 개발이나 구매를 추진 중이다.