MIT 연구진, AI 학습 '데이터의 벽' 극복할 새 프레임워크 개발

LLM 스스로 합성 데이터 생성…외부 데이터 의존도 낮춰
모델 성능 향상 및 '모델 붕괴' 현상 해결 가능성 제시

이미지 : Sora prompted by 달달한 하루

 

인공지능(AI)의 성능 향상을 가로막는 주요 장애물 중 하나인 '데이터의 벽(data wall)'을 극복할 수 있는 새로운 길이 열릴 전망이다. 미국 매사추세츠공과대학(MIT) 연구진이 대규모 언어 모델(LLM)이 외부 입력 없이 스스로 학습 데이터를 생성하고 개선할 수 있는 새로운 프레임워크 'SEAL(Self-Editing with Reinforcement Learning)'을 개발했다고 발표했다.

 

'데이터의 벽'은 AI 모델이 훈련에 사용할 수 있는 고품질의 인간이 작성한 데이터가 고갈되어 더 이상 성능이 향상되지 않는 현상을 의미한다. 지금까지 AI 모델은 방대한 양의 웹 데이터를 학습하여 발전해왔지만, 이 데이터가 한계에 도달하면서 성능 정체에 대한 우려가 커져왔다. 특히, AI가 생성한 저품질 데이터로 재학습시킬 경우 모델의 성능이 오히려 저하되는 '모델 붕괴(model collapse)' 현상까지 발생할 수 있어 새로운 해결책이 절실한 상황이었다.

 

 

 

 

MIT 연구진이 개발한 SEAL 프레임워크는 LLM이 스스로 '자기 수정(self-edit)'을 통해 학습 데이터를 생성하고, 강화 학습을 통해 보상을 받으며 성능을 개선하는 두 단계로 작동한다. 이는 마치 AI가 스스로 자신의 실수를 교정하며 학습하는 것과 유사한 방식이다. 연구진은 SEAL을 활용한 실험에서, 기존 방식보다 훨씬 작은 모델로도 GPT-4와 같은 대형 모델의 성능을 뛰어넘는 결과를 얻었다고 밝혔다. 특히, 추론 과제에서 SEAL을 적용한 라마 3.2-1B 모델은 사전 훈련 없이 20%에 불과했던 성공률을 72.5%까지 끌어올리는 놀라운 성과를 보였다.

반응형

이번 연구는 AI 모델이 기존의 인간 데이터에만 의존하는 방식에서 벗어나, 스스로 학습하고 진화하는 새로운 패러다임을 제시했다는 점에서 큰 의미를 가진다. SEAL은 AI가 자체적으로 생성한 합성 데이터를 활용하여 '데이터의 벽'을 넘어설 수 있는 현실적인 '사다리' 역할을 할 수 있을 것으로 기대된다. 하지만 연구진은 '파국적 망각(catastrophic forgetting)'과 같은 부작용과 높은 계산 비용 등 해결해야 할 과제들도 남아있다고 덧붙였다.

 

이번 발표는 AI 연구 분야에 새로운 활력을 불어넣을 것으로 보인다. 메타, 구글, 마이크로소프트 등 거대 기술 기업들이 천문학적인 금액을 투자하며 AI 인프라를 확장하는 가운데, 효율적인 데이터 활용과 자체 학습 능력은 AI 경쟁의 새로운 핵심 요소로 부상할 전망이다.

모델은 자체 수정(SE)을 제안하고, 가중치를 업데이트하며, 해당 과제에 대해 평가됩니다. 강화 학습(RL)은 매 사이클마다 더 나은 수정을 생성하는 데 도움이 됩니다. ❘ 이미지: Zweiger et al.

 

관련 통계

학습 방식	라마 3.2-1B 추론 성공률
사전 훈련 없음	20%
SEAL 프레임워크 적용	72.5%

자료: MIT 연구팀 실험 결과 (2025년 6월 기준)

 

 

참고링크: 관련 연구 논문 및 정보는 MIT 공식 발표 및 arXiv를 참조하십시오.