메타, 모바일 최적화 Llama 3.2 공개... AI 경험 혁신 예고

속도는 4배 빠르게, 메모리는 41% 절감... 모바일 AI의 새 지평
퀄컴, 미디어텍 칩셋 최적화로 안드로이드 생태계 공략

Source:  Llama 3.2 goes Multimodal and to the Edge

 

메타가 최근 모바일 기기에 최적화된 대규모 언어 모델 'Llama 3.2'를 공개해 주목받고 있다. 이번 모델은 기존 Llama의 성능을 유지하면서도 모바일 환경에서의 효율성을 대폭 개선한 것이 특징이다.

 

Llama 3.2는 1B와 3B 파라미터 버전으로 제공되며, 양자화 기법을 통해 속도와 메모리 사용량을 획기적으로 개선했다. 메타 측에 따르면, 안드로이드 기기에서 진행한 테스트 결과 메모리 사용량이 41% 감소했으며, 추론 속도는 2-4배 향상된 것으로 나타났다.

 

이러한 성능 개선은 'QAT(Quantization-Aware Training)'와 'SpinQuant' 등의 첨단 기술을 적용한 결과다. QAT는 학습 과정에서 양자화의 영향을 고려하는 기법이며, SpinQuant는 사후 학습 양자화 방식이다. 또한 PyTorch ExecuTorch 프레임워크를 활용해 모바일 환경에서의 최적화를 달성했다.

 

특히 Llama 3.2는 퀄컴과 미디어텍 등 주요 모바일 칩셋 제조사의 CPU와 NPU에 최적화되어 있어, 다양한 안드로이드 기기에서 효율적으로 구동될 수 있다. 메타는 이를 통해 정확도와 이식성을 동시에 확보했다고 밝혔다.

 

메타의 AI 연구팀장은 "Llama 3.2를 통해 모바일 기기에서도 강력하고 효율적인 AI 경험을 제공할 수 있게 되었다"며 "이는 AI 기술의 대중화와 접근성 향상에 큰 기여를 할 것"이라고 말했다.

 

업계에서는 이번 발표가 모바일 AI 시장에 미칠 파급력에 주목하고 있다. Llama 3.2의 비용 효율성과 성능 개선은 다양한 협력사들과의 협업 가능성을 높이고, 모바일 애플리케이션에서의 AI 활용을 크게 확대할 것으로 전망된다.

 

한편, 메타는 Llama 3.2의 오픈소스 공개를 통해 AI 생태계 발전에 기여하겠다는 의지도 밝혔다. 이는 구글, 오픈AI 등 경쟁사들과의 AI 기술 경쟁이 더욱 치열해질 것임을 시사한다.

 

 

참고 출처:

1. InfoQ - "Meta Releases Llama 3.2 with Vision, Voice, and Open Customizable Models"
2. AWS 블로그 - "Introducing Llama 3.2 models from Meta in Amazon Bedrock"
3. AWS 한국 블로그 - "Meta의 Llama 3.2 모델, Amazon Bedrock 정식 출시"
4. PyTorch 한국 사용자 모임 - "Meta, 모바일 기기를 위한 양자화된 Llama 3.2 경량 모델 공개"
5. Meta AI 블로그 - "Llama 3.2: Revolutionizing edge AI and vision with open models"

 

핀테크 기업 티웨이브, 라운드HR 도입으로 채용 프로세스 혁신

핀테크 기업 티웨이브, 라운드HR 도입으로 채용 프로세스 혁신