삼성, 700만 매개변수 '초소형 AI' TRM 개발…거대 모델 능가하는 추론 능력

GPT-4o Mini, Gemini 2.5 Pro 등 압도…ARC-AGI 벤치마크서 45% 달성

 

삼성전자 종합기술원 AI 랩(SAIL Montreal) 연구팀이 단 700만 개의 매개변수(파라미터)만을 가진 초소형 AI 모델 'TRM(Tiny Recursive Model)'을 개발하고, 복잡한 추론 능력 벤치마크인 ARC-AGI 테스트에서 대규모 언어 모델(LLM)들을 능가하는 성능을 보이며 AI 아키텍처 혁신을 입증했다.

 

TRM은 삼성 SAIT 소속 Alexia Jolicoeur-Martineau 연구원이 발표한 논문 "Less is More: Recursive Reasoning with Tiny Networks"를 통해 공개되었다. 이 모델은 GPT-4o mini, Gemini 2.5 Pro와 같은 수십억~수천억 개의 매개변수를 가진 거대 모델보다 적은 0.01% 미만의 매개변수만을 사용하고도 높은 추론 정확도를 달성했다.

 

반복적 추론 구조가 핵심…비용 효율성 극대화

TRM은 '재귀적 추론(Recursive Reasoning)' 방식, 즉 '반복적인 교정 루프(tight, repeating correction loop)'를 통해 정답을 도출하는 독특한 아키텍처를 사용한다. 모델은 현재 해답과 중간 단계를 위한 스크래치 패드(scratchpad) 메모리를 유지하며, 이 루프를 여러 번 실행하여 초기 오류를 점진적으로 개선한다.

 

이러한 혁신 덕분에 TRM은 ARC-AGI-1 벤치마크에서 45%의 정확도를 기록하며, 기존 LLM인 ▲GPT-4o mini(o3-mini-high)의 34.5% ▲Gemini 2.5 Pro의 37.0% ▲DeepSeek R1의 15.8% 등을 앞섰다. 또한 난이도가 높은 ARC-AGI-2 테스트에서도 8%를 달성해 Gemini 2.5 Pro(4.9%)보다 우수했다.

 

삼성 연구진은 이 모델을 NVIDIA H-100 GPU 4대와 500달러 미만의 비용으로 단 이틀 만에 훈련시켰다고 밝혀, 거대 모델 훈련에 수백만 달러가 드는 것과 비교하면 압도적인 비용 및 컴퓨팅 효율성을 입증했다.

 

TRM의 등장은 AI 발전이 단순히 모델 크기를 키우는 '규모 확장(Scaling Law)'을 넘어, 특정 영역에 특화된 아키텍처 혁신을 통해 더 큰 효율과 성능 향상을 이룰 수 있음을 보여주는 사례로 평가된다.

---

출처: Samsung SAIT (2025년 10월 6일), The Decoder (2025년 10월 9일)