미국의 데이터 센터 인근 지역 전기 요금이 5년 전 대비 267% 인상됐다. 미국 50개 주 중 13개 주가 AI 연산으로 인한 전력 수요 급증의 영향을 받고 있으며, 그 범위는 계속 확대되고 있다. 빅테크 기업들이 전기를 도매로 구매하면서 할인을 받는 만큼 일반 소비자들의 전기료 부담이 가중되고 있다.
AI 시장의 성장 지속을 위해서는 전력 소비 감축이 필수 과제다. 엔비디아의 수석 과학자 빌 댈리는 AI의 전력 소모가 계산 자체보다는 외부 메모리 반도체(HBM)에서 연산장치(GPU)로의 데이터 전송에서 발생한다고 지적했다. 인공지능의 전력 소모는 데이터 전송 40%, 발열 냉각 35%, 계산 15%, 데이터 저장 유지 10%로 나뉜다. 전력 효율화는 반도체를 덜 쓰는 방식과도 연결되며, 이는 장기적으로 메모리 반도체 수요 축소로 이어질 수 있다.
GPU 내부의 SRAM을 활용하는 방향으로의 전환이 활발히 논의되고 있다. 계산에 사용되는 전력을 1이라 할 때, GPU 내부 SRAM에서 데이터를 처리하면 5~10 정도의 전력이 소모되지만, 외부 HBM에서 데이터를 가져오면 100~1000 수준의 전력이 필요하다. 데이터 전송 거리가 길어질수록 신호 증폭에 더 많은 전력이 소비되기 때문이다.
메모리 내 연산장치를 통합한 CIM(Chip in Memory) 구조는 데이터 전송 거리를 극단적으로 단축해 전력 소비를 최소화할 수 있다. 2021년 인피(Inphi)를 인수한 반도체 설계 기업 마벨 테크놀러지(Marvell Technology)는 이 분야에서 경쟁력 있는 기술 포트폴리오를 갖추고 있다. 인피는 반도체 간 신호 연결 기술에서 세계 최고 수준이며, 특히 좁은 공간에서의 신호 전송에서 우수하다. 더불어 구리선 신호 전송을 레이저 광통신으로 전환하는 추세 속에서도 인피의 광통신 솔루션이 핵심 역할을 하고 있다. 구글, 마이크로소프트, 아마존 같은 대형 기술 기업들이 인피의 지적 재산권을 활용하지 않고는 칩 간 네트워킹을 구현하기 어려울 정도로 기술 경쟁력이 확보되어 있다.