일본 스타트업 사카나 AI, 뇌 영감 받은 시간 기반 AI 모델 개발

트랜스포머 공동 개발자가 설립한 기업의 혁신적 접근법
기존 언어 모델과 차별화된 '연속적 사고 기계' 아키텍처

출처: 사카나 ai블로그

 

도쿄 기반 스타트업 사카나 AI가 뇌의 시간 처리 방식을 모방한 새로운 인공지능 시스템 '연속적 사고 기계(Continuous Thought Machine, CTM)'를 최근 발표했다. 트랜스포머 아키텍처 원저자 중 한 명인 리온 존스(Llion Jones)가 공동 설립한 이 회사는 2023년 설립 당시 자연에서 영감을 받은 AI 시스템 구축을 목표로 밝힌 바 있다.

 

CTM은 기존 언어 모델과 달리 입력을 단일 정적 스냅샷으로 처리하는 대신 합성 뉴런이 시간에 따라 동기화되는 방식에 초점을 맞추고 있다. 이 모델은 전통적인 활성화 함수 대신 과거 활성화의 이력을 추적하는 '뉴런 수준 모델(NLMs)'을 사용하며, 이러한 이력이 시간에 따른 뉴런 동작 방식을 형성한다.

반응형

CTM의 핵심 특징은 '내부 틱(internal ticks)'이라 불리는 내부 시간 개념을 도입한 것이다. 이를 통해 모델은 문제 해결 시 최종 답변으로 바로 넘어가지 않고 여러 내부 단계를 거칠 수 있다. 각 단계는 현재 뉴런 상태와 외부 입력을 처리하는 '시냅스 모델'로 시작되며, 모든 뉴런은 이러한 사전 활성화의 이력을 유지한다.

 

사카나 AI 연구팀은 "CTM의 시간 기반 동기화는 모델의 주요 내부 신호로 작용하여 주의력과 예측 생성을 주도한다"고 설명했다.

 

초기 테스트에서 CTM은 ImageNet 1K 이미지 분류에 적용되어 72.47%의 상위-1 정확도와 89.89%의 상위-5 정확도를 달성했다. 또한 미로 탐색 실험에서는 단계별로 경로를 계획하며, 훈련 중 보지 못한 더 크고 복잡한 미로도 부분적으로 해결할 수 있었다.

 

성능	지표결과
ImageNet 1K 상위-1 정확도	72.47%
ImageNet 1K 상위-5 정확도	89.89%
CIFAR-10 성능	기존 모델보다 약간 우수

 

사카나 AI 측은 "CTM은 뇌를 완벽하게 복제하기 위한 것이 아니라 신경과학, 특히 시간 기반 동기화 개념에서 아이디어를 차용한 것"이라며 "엄격한 생물학적 사실성보다는 기능적 영감에 관한 것"이라고 강조했다.

 

다만 CTM은 재귀적으로 작동하기 때문에 훈련 중 쉽게 병렬화할 수 없어 속도가 느려지는 단점이 있다. 또한 기존 모델보다 훨씬 많은 매개변수가 필요해 계산 요구량이 많다는 한계도 있다.

 

사카나 AI는 CTM의 코드와 모델 체크포인트를 오픈소스로 공개했으며, 이것이 생물학적 영감을 받은 AI 시스템에 대한 향후 연구의 기반이 되기를 희망한다고 밝혔다.

 

향후 사카나 AI의 CTM이 실제 응용 분야에서 어떤 성능을 보일지는 여전히 열린 질문으로 남아있다. 관심 있는 연구자와 개발자들은 사카나 AI가 공개한 오픈소스 코드와 모델 체크포인트를 통해 직접 실험해볼 수 있으며, 생물학적 영감을 받은 AI 시스템 개발에 참여할 기회를 얻을 수 있다.

 

참고자료:사카나 ai블로그

https://sakana.ai/blog/

Sakana AI