Mistral, AI 기반 콘텐츠 조정 API 출시로 온라인 안전성 강화

AI 스타트업 Mistral이 콘텐츠 조정을 위한 새로운 API를 출시했습니다. 이 API는 Mistral의 Le Chat 챗봇 플랫폼에서 사용되는 동일한 시스템을 기반으로 하며, 특정 애플리케이션과 안전 표준에 맞게 조정할 수 있습니다. 이 API는 영어, 프랑스어, 독일어 등 다양한 언어로 된 텍스트를 9가지 카테고리로 분류하도록 훈련된 Ministral 8B 모델을 사용하여 성적, 증오 및 차별, 폭력 및 위협 등 유해한 콘텐츠를 감지합니다.

그림출처:mistral.ai

 

API의 주요 기능

Mistral의 새로운 콘텐츠 조정 API는 Le Chat 챗봇 플랫폼에서 이미 사용되고 있는 기술을 기반으로 하며, 원시 텍스트와 대화형 텍스트 모두에 적용될 수 있습니다. 이 API는 성적 콘텐츠, 증오 및 차별, 폭력 및 위협, 위험한 범죄 행위 등 총 9가지 범주로 텍스트를 분류할 수 있으며, 이를 통해 온라인 플랫폼에서 유해한 콘텐츠가 확산되는 것을 방지합니다.

 

다양한 언어 지원

이 API는 영어뿐만 아니라 프랑스어, 독일어 등 여러 언어를 지원하며 글로벌 사용자에게 적합한 솔루션을 제공합니다. 또한 Mistral은 이 API가 특정 애플리케이션의 요구 사항에 맞게 조정될 수 있어 다양한 산업 분야에서 활용될 수 있다고 밝혔습니다.

 

API의 성능과 한계

Mistral은 자사의 콘텐츠 조정 모델이 매우 정확하다고 주장하지만, 다른 인기 있는 API와의 비교 테스트는 아직 이루어지지 않았습니다. 또한 AI 기반 조정 시스템이 편향이나 기술적 결함에 취약할 수 있다는 점도 인정했습니다. 예를 들어, 일부 AI 모델은 아프리카계 미국인 속어 영어(AAVE)와 같은 비공식 문법을 독성으로 잘못 감지하는 경향이 있습니다. 이러한 문제를 해결하기 위해 Mistral은 연구 커뮤니티와 협력하여 지속적으로 모델을 개선해 나갈 계획입니다.

 

비용 절감 및 확장성

이번에 발표된 배치 API는 대량 요청을 비동기적으로 처리하여 비용을 최대 25%까지 줄일 수 있는 기능을 제공합니다. 이는 대규모 데이터를 다루는 기업들에게 특히 유용하며, Anthropic이나 OpenAI와 같은 경쟁사들도 유사한 배치 옵션을 제공하고 있습니다.

 

향후 전망

Mistral은 이번 API 출시를 통해 콘텐츠 조정 시스템의 효율성을 크게 향상시킬 것으로 기대됩니다. 특히 AI 기반 솔루션의 확장성과 비용 절감 효과는 다양한 산업에서 주목받고 있으며, 앞으로도 연구 커뮤니티와 협력하여 AI 안전성을 더욱 발전시킬 계획입니다.

 

---

자주 묻는 질문 (FAQ)

Mistral의 새로운 API는 어떤 기능을 제공하나요?

성적 콘텐츠, 증오 및 차별, 폭력 등의 유해한 텍스트를 감지하고 분류하는 기능을 제공합니다.

 

이 API는 어떤 언어를 지원하나요?

영어, 프랑스어, 독일어 등을 포함한 다양한 언어를 지원합니다.

 

API는 어떤 환경에서 사용할 수 있나요?

원시 텍스트와 대화형 텍스트 모두에 적용할 수 있으며, 다양한 애플리케이션에 맞게 조정 가능합니다.

 

비용 절감 기능이 있나요?

배치 API를 통해 대량 요청을 비동기적으로 처리하여 최대 25%까지 비용 절감이 가능합니다.

 

API의 성능은 다른 경쟁사와 비교되었나요?

현재 Jigsaw의 Perspective API나 OpenAI의 조정 API와 직접적인 비교 테스트는 이루어지지 않았습니다.

 

 

원문출처:https://techcrunch.com/2024/11/07/mistral-launches-a-moderation-api/

Mistral launches a moderation API | TechCrunch