애플 뉴럴 엔진 최적화 오픈소스 ‘ANEMLL’, LLM 온디바이스 혁신 이끈다

LLM 변환부터 추론까지, 완전 자동화 파이프라인 제공
Swift·Python·iOS 등 다양한 샘플 코드와 벤치마크 도구 지원

 

애플 뉴럴 엔진(ANE) 기반 대형 언어 모델(LLM) 추론을 위한 오픈소스 프로젝트 ‘ANEMLL’이 2025년 6월, 깃허브(https://github.com/Anemll/Anemll)를 통해 알파 버전(0.3.0)으로 공개됐다. ANEMLL은 누구나 손쉽게 Hugging Face 모델을 ANE에 최적화된 CoreML 포맷으로 변환·배포할 수 있도록 지원하며, iOS·macOS 등 엣지 디바이스에서의 프라이버시와 성능을 극대화한다.

ANEMLL은 LLM 변환 도구, Swift 참조 구현, Python 샘플 코드, iOS/macOS 샘플 앱, ANE 벤치마크 등 5가지 핵심 컴포넌트로 구성된다. 사용자는 Hugging Face에서 모델을 다운로드한 뒤, 제공되는 변환 스크립트(./anemll/utils/convert_model.sh)를 통해 손쉽게 CoreML 모델로 변환할 수 있다. 변환된 모델은 Swift CLI, Python(chat.py, chat_full.py) 등 다양한 환경에서 즉시 테스트 가능하다.

 

특히, ANEMLL은 LLAMA 3.1(1B·8B), DeepSeek, DeepHermes 등 최신 LLM 아키텍처를 지원하며, 향후 더 다양한 모델로 확장될 예정이다. 벤치마크 도구(ANEMLL-BENCH)를 통해 ANE 성능 측정 및 최적화도 가능하다. 프로젝트 관계자는 “온디바이스 AI의 프라이버시와 실시간성을 극대화할 수 있다”며, “향후 더 많은 모델과 플랫폼을 지원할 계획”이라고 밝혔다.

 

일정	개요
2025.06	ANEMLL 0.3.0 알파 공개
상시	모델 변환·테스트 지원, 샘플 코드 제공
추후	지원 모델·플랫폼 확대 예정

 

ANEMLL은 MIT 라이선스로 공개되며, 누구나 자유롭게 활용·기여할 수 있다. 자세한 설치 및 사용법, 지원 모델 목록 등은 공식 깃허브(https://github.com/Anemll/Anemll)와 허깅페이스(https://huggingface.co/anemll)에서 확인할 수 있다.

ANEMLL 프로젝트 관계자는 “ANEMLL은 LLM의 엣지 디바이스 적용을 가속화하는 오픈소스 파이프라인”이라며, “프라이버시와 저전력, 실시간 추론이 필요한 다양한 분야에서 활용될 것”이라고 밝혔다.

 

출처: ANEMLL 공식 깃허브

GitHub - Anemll/Anemll: Artificial Neural Engine Machine Learning Library

#ANEMLL #애플뉴럴엔진 #LLM #온디바이스AI #오픈소스 #CoreML #Swift #Python #HuggingFace #벤치마크