반응형 llm5 "70% 크기, 100% 정확도: LLM 압축 기술의 혁신적 발전" "Dynamic-Length Float (DFloat11) 기술로 LLM 크기 30% 감소""GPU 추론 효율성 향상, 메모리 사용량 최적화" 최근 AI 기술의 발전으로 Large Language Models (LLMs)의 크기가 급격히 증가하면서, 제한된 하드웨어 자원에서의 효율적인 배포가 중요한 과제로 떠오르고 있습니다. 이에 Tianyi Zhang과 그의 동료들이 개발한 Dynamic-Length Float (DFloat11) 기술이 주목받고 있습니다. DFloat11은 LLM의 크기를 30%까지 줄이면서도 원본 모델과 동일한 출력을 제공하는 무손실 압축 프레임워크입니다. 이 기술은 BFloat16 가중치 표현의 낮은 엔트로피를 활용하여, 빈도에 기반한 동적 길이 인코딩을 적용함으로써 정보 최적화에.. 2025. 4. 27. AMD, ROCm 6.4 공개로 AI 생태계 확장 본격화 최적화된 컨테이너와 성능 향상으로 AI 워크로드 가속화모듈식 드라이버 구조로 유연한 배포 환경 제공 AMD가 지난 4월 11일 최신 오픈소스 GPU 컴퓨팅 스택인 ROCm 6.4를 공식 출시하며 인공지능 및 고성능 컴퓨팅(HPC) 시장에서의 입지를 강화하고 있다. 이번 업데이트는 AMD Instinct GPU를 위한 사전 최적화된 컨테이너와 성능 개선을 통해 현대적 AI 워크로드의 효율적 처리를 지원하는 데 중점을 두었다. ROCm 6.4의 가장 주목할 만한 특징은 AI 훈련 및 추론을 위한 최적화된 컨테이너 제공이다. 이 컨테이너들은 Llama 3.1, Gemma 3, DeepSeek 등 최신 대형 언어 모델(LLM)을 즉시 지원하도록 설계되어 연구자와 개발자들이 복잡한 설정 과정 없이 바로 작업을 시.. 2025. 4. 23. 오픈AI, 오픈소스 전환 검토: 인공지능 생태계 변화의 신호탄? 오픈AI, 오픈소스 전환 가능성 검토…"AI 생태계 판도 바꿀까""역사의 잘못된 편에 섰다" 샘 알트먼 CEO의 전략 수정 발표 1. 오픈AI의 전략 전환 배경최근 오픈AI는 폐쇄형 AI 모델 개발 전략을 재검토하며, 오픈소스 전환 가능성을 공식화했습니다. 샘 알트먼 CEO는 2월 1일 레딧 AMA 세션에서 "오픈소스 전략을 재정비해야 한다"고 밝히며, 이는 중국의 경쟁사 딥씽(DeepSeek)이 공개한 고성능·저비용 오픈소스 모델의 등장에 대응하기 위한 움직임으로 분석됩니다. 📊 핵심 통계:2023년 오픈소스 소프트웨어 사용량은 전년 대비 41% 증가(State of Open Source 보고서)오픈소스 AI 모델 시장 점유율은 2027년까지 기업용 AI의 40% 차지 전망2. 산업계 반응과 기술적 .. 2025. 2. 5. 메타, 고성능·저비용 'AI 모델 라마 3.3' 공개 기존 405B 모델과 동등 성능..."일반 워크스테이션서도 구동 가능"주커버그 "2025년 라마4 출시...루이지애나에 100억달러 AI센터 건설" 메타(Meta)가 새로운 오픈소스 AI 언어 모델 '라마 3.3(Llama 3.3)'을 공개하며 AI 시장에서 주목을 받고 있다. 이번 모델은 기존 대비 적은 컴퓨팅 파워로도 동등한 성능을 구현해 효율성을 크게 높였다. 혁신적 성능과 효율성라마 3.3은 기존 라마 3.1 405B 모델과 비교해 동등한 성능을 보이면서도 컴퓨팅 자원 소비를 대폭 줄였다. 특히 MMLU, GPQA Diamond, HumanEval 등 주요 벤치마크에서 우수한 성능을 입증했다.주요 기술 스펙컨텍스트 길이: 128k처리 가능 토큰: 15조 개 이상구동 환경: 일반 개발자용 워크스테이.. 2024. 12. 8. 모비두, LLM 기반 AI 숏폼 추출 서비스 ‘쇼킷’ 출시 목차긴 영상에서 핵심 하이라이트를 자동으로 추출하는 혁신적인 솔루션 모비두(대표 이윤희)가 11월 14일, LLM(거대언어모델) 기반의 AI 숏폼 추출 서비스 ‘쇼킷’을 공식 출시했습니다. 이 서비스는 긴 원본 영상을 업로드하면, AI가 자동으로 콘텐츠 가치가 높은 하이라이트 구간을 추출해 숏폼으로 변환하고, 영상 편집과 등록까지 한 번에 처리할 수 있는 올인원 솔루션입니다. 특히 멀티 LLM 에이전트를 활용하여 사용자의 의도에 맞는 하이라이트 구간을 정확하게 추출할 수 있는 것이 특징입니다. 예를 들어, 사용자가 “이 식품의 맛을 묘사한 부분을 중심으로 추출해줘”와 같은 문장형 키워드로 요청하면, AI가 영상을 분석해 해당 요구에 맞는 숏폼을 빠르게 생성합니다.숏폼 제작 시간과 비용 절감 기대모비두의 .. 2024. 11. 20. 이전 1 다음 반응형
