A Survey of Proprietary Accelerators for Large Language Models

Sihyeong Park, Jemin Lee, Byung-Soo Kim, Seokhun Jeon

Abstract: LLMsLarge Language Models)의 규모가 빠르게 확대되고, 동시에 모델 학습 및 추론 비용이 기하급수적으로 증가함에 따라 이를 효율적으로 처리하기 위한 전용 하드웨어 가속기의 중요성이 커지고 있다. 본 논문에서는 LLM 가속기의 필요성을 논의하고, NVIDIA, AMD, Google 등 주요 기업에서 개발한 상용 Application-Specific Integrated Circuit 기반 LLM 가속기의 하드웨어 및 소프트웨어 특성을 메모리 아키텍처, 성능, 인터커넥션, 소프트웨어 스택 등 다양한 관점에서 종합적으로 분석한다. 또한 LLM 가속기가 직면한 메모리 용량, 전력 효율, 확장성, 소프트웨어 호환성 등의 주요 기술적 도전 과제를 설명하고, 하드웨어 개발 방안을 검토한다. 이러한 분석을 바탕으로 혼합 정밀도 지원, 대규모 분산 학습을 위한 고속 인터커넥션, 컴파일러 등의 핵심 고려 사항을 제시하고, 나아가 차세대 LLM 가속기 개발에 필요한 연구 방향을 제안한다.

External IDs:doi:10.14801/jkiit.2025.23.6.75