[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트 - 서비스에 달라지는 LLM 비용 포인트 2. LLM 비용 절감의 어려움 - LLM 비용을 줄이는 기술 : 경량화 - LLM 경량화가 모델 Quality에 미치는 영향 - 가볍게 하는 것에서, 처음부터 효율적으로 짓는 것으로 3. LLM 조각하기 : Efficient Architecturing - LLM Inference 특성을 고려한 모델 구조 - 모델 구조가 LLM Quality에 미치는 영향 - 오픈소스 LLM Arch. 분석 - 서비스 비용에 대한 철학이 담긴 HyperCLOVA-X 4. HyperCLOVA-X SEED 모델의 학습 효율화 기술 - LLM 비용 절감의 핵심: Pruning과 Knowledge Distillation, 어떤 기술일까? - HyperCLOVA X의 경량화 학습 공정: 고효율 모델을 만드는 경량화 기술 - 경량화 기술이 여는 HyperCLOVA X의 새로운 가능성 대상 - LLM 비용절감을 위해 근본적으로 모델 설계 부터 어떤식으로 해야하는지 궁금하신 분 - HyperCLOVA-X의 비용 효율화를 기술과 노력에 대해 궁금하신 분 #DAN #DAN25 #TEAMNAVERCONFERENCE