📱 ****프로젝트 한 줄 소개

<aside> 💡

강화 학습을 통해 CPU 및 GPU 전력을 동적으로 조정해 특정 On-Device LLM Inference 시나리오에 맞게 에너지 효율을 높입니다.

→ Target 성능 대비 27.3% 향상, 기존 전력 모드 대비 배터리 수명 61.04% 향상

</aside>

📝 문제 정의

1. Cloud vs On-device

   Cloud-based inference	On-device inference
   지연 시간 ⬆️
   Privacy 문제 야기
   네트워크 연결 필수	지연 시간 ⬇️
   Privacy 문제 해결
   네트워크 의존성 감소

2. 기존 연구와 차이점

   • 기존 LLM의 높은 에너지 소비 문제는 주로 데이터 센터 환경에서 최적화되어 왔다.

     = 배치 요청 처리(batch processing) 중심으로 최적화

     ➡️ On-device inference에서의 싱글 유저 시나리오와 적합하지 않음

     • 사용자가 한 번에 하나의 요청을 보냄
     • 배터리 수명을 고려해 에너지 효율 극대화 필수
     • 지연시간 최소화와 효율적인 실시간 처리를 통한 즉각적인 응답

📶 동기

CPU 및 GPU 주파수에 따른 LLM Throughput 변화

CPU 및 GPU 주파수에 따른 에너지 소비량 변화

• LLM의 처리량과 에너지 소비는 CPU와 GPU 주파수 조정에 매우 민감하게 반응

• 지나치게 낮은 CPU 주파수 → 추론 시간⬆️ 총 에너지 사용량⬆️

  → Adaptive frequency scaling을 통해 추론 효율과 에너지 소비의 균형을 효과적으로 맞춤

<aside> <img src="/icons/light-bulb_gray.svg" alt="/icons/light-bulb_gray.svg" width="40px" />

목차

</aside>

<aside> <img src="/icons/arrow-northeast_gray.svg" alt="/icons/arrow-northeast_gray.svg" width="40px" />

바로가기

Paper (ICCE 2025)

</aside>

💫 Reinforcement Learning Structure

$\alpha = 100$, $\beta = 3$

🗒️ 프로젝트 개발 노트

<aside> 📌

Scenario Design + Data collection

Scenario Design + Data collection

</aside>

<aside> 📌

Environment + Agent

Enviroment + Agent

</aside>