Hugging Face, 새로운 소형 AI 모델 SmolLM2 출시 – Qwen, Llama 압도

SmolLM2, 성능으로 경쟁 모델 제압
소형 모델로도 고성능 AI 구현 가능성 입증

Hugging Face

 

Hugging Face가 최근 발표한 소형 언어 모델 SmolLM2가 AI 업계에서 주목받고 있습니다. 이 모델은 Qwen 및 Llama와 같은 경쟁 모델을 여러 지식 및 이해 벤치마크에서 능가하며, 특히 소형 크기와 높은 효율성으로 눈길을 끌고 있습니다.

 

SmolLM2는 135M, 360M, 1.7B 파라미터로 구성된 세 가지 크기로 제공되며, 특히 1.7B 모델은 HellaSwag(68.7%), PIQA(77.6%) 등 주요 벤치마크에서 경쟁 모델인 Qwen2.5-1.5B와 Llama-1B를 능가했습니다. 이 모델은 Hugging Face의 데이터 중심 접근 방식을 통해 개발되었으며, 11조 개의 토큰 데이터셋과 FineMath, Stack-Edu 등 맞춤형 데이터셋을 활용하여 훈련되었습니다.

반응형

Hugging Face는 SmolLM2를 통해 소형 AI 모델이 대규모 클라우드 인프라 없이도 스마트폰과 같은 제한된 장치에서 실행 가능하다는 점을 강조했습니다. 이는 데이터 프라이버시와 비용 효율성을 중시하는 산업에 큰 이점을 제공합니다.

Hugging Face 연구팀은 "SmolLM2는 소형 모델이 대규모 모델과 경쟁할 수 있는 가능성을 보여주며, AI 기술의 민주화에 기여할 것"이라고 밝혔습니다.

 

SmolLM2의 출시는 AI 기술의 새로운 방향성을 제시하며, 소형화된 고성능 AI 솔루션의 가능성을 입증합니다. 앞으로도 Hugging Face는 지속적인 개선을 통해 다양한 응용 분야에서 SmolLM2의 활용도를 높일 계획입니다.

 

https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct

HuggingFaceTB/SmolLM2-1.7B-Instruct · Hugging Face