반응형 aiefficiency1 메타, 모바일 최적화 Llama 3.2 공개... AI 경험 혁신 예고 속도는 4배 빠르게, 메모리는 41% 절감... 모바일 AI의 새 지평퀄컴, 미디어텍 칩셋 최적화로 안드로이드 생태계 공략 메타가 최근 모바일 기기에 최적화된 대규모 언어 모델 'Llama 3.2'를 공개해 주목받고 있다. 이번 모델은 기존 Llama의 성능을 유지하면서도 모바일 환경에서의 효율성을 대폭 개선한 것이 특징이다. Llama 3.2는 1B와 3B 파라미터 버전으로 제공되며, 양자화 기법을 통해 속도와 메모리 사용량을 획기적으로 개선했다. 메타 측에 따르면, 안드로이드 기기에서 진행한 테스트 결과 메모리 사용량이 41% 감소했으며, 추론 속도는 2-4배 향상된 것으로 나타났다. 이러한 성능 개선은 'QAT(Quantization-Aware Training)'와 'SpinQuant' 등의 첨단 .. 2024. 10. 30. 이전 1 다음 반응형
