Panjaya, AI 기반의 딥페이크 기술로 비디오 더빙 시장에 도전

Panjaya, 이스라엘의 AI 스타트업이 딥페이크 기술을 활용하여 비디오 더빙 시장을 혁신하고 있다. 이 회사는 비디오 콘텐츠를 다양한 언어로 자연스럽게 번역하고, 원본 화자의 목소리와 신체 움직임을 그대로 유지하는 기술을 제공한다.

이미지 출처: 게티 이미지

 

Panjaya는 2021년에 설립되었으며, 창립자 중 한 명인 Guy Piekarz는 과거 자신의 비디오 스타트업을 Apple에 매각한 경험이 있다. 이 경험을 바탕으로 Panjaya는 현재 BodyTalk라는 혁신적인 AI 기반 더빙 플랫폼을 통해 글로벌 시장에서 주목받고 있다.

 

Panjaya

 

Panjaya의 BodyTalk: 딥페이크 기술로 자연스러운 더빙 구현

Panjaya의 BodyTalk는 AI 기술을 사용하여 비디오 더빙을 자동화하고, 29개 언어로 번역된 콘텐츠를 제공한다. 이 플랫폼은 단순한 음성 번역을 넘어, 원본 화자의 목소리를 모방하고 입술 움직임과 신체 제스처까지 새 언어에 맞게 수정하여 매우 자연스러운 결과물을 만들어낸다.

 

주요 기능

• 음성 및 신체 동작 동기화: 원본 화자의 목소리와 신체 움직임을 새로운 언어에 맞춰 조정하여, 마치 화자가 실제로 그 언어를 말하는 것처럼 보이게 한다.
• 29개 언어 지원: 다양한 언어로 자동 번역 및 더빙 가능.
• B2B 시장 타겟팅: 현재 TED와 같은 기업들이 Panjaya의 기술을 사용하여 영상 콘텐츠의 조회 수를 115% 증가시키는 등의 성과를 보고하고 있다.

 

창립자와 팀

Panjaya는 Hilik Shani와 Ariel Shalom이라는 두 명의 딥러닝 전문가가 설립했다. 이들은 이스라엘 정부에서 딥러닝 프로젝트를 진행한 경력을 바탕으로 Panjaya를 창립했다. 이후 CEO로 합류한 Guy Piekarz는 과거 자신의 스타트업을 Apple에 매각한 경험이 있으며, 이를 통해 미디어 및 기술 분야에서 풍부한 리더십을 발휘하고 있다.

 

딥페이크 기술과 윤리적 문제

Panjaya는 딥페이크 기술을 사용하지만, 윤리적 문제를 피하기 위해 '딥 리얼'이라는 용어를 사용하며, 기술의 오용 방지에 중점을 두고 있다. Panjaya는 콘텐츠의 진정성과 정확성을 유지하면서도 글로벌 커뮤니케이션 장벽을 허물기 위한 도구로 AI를 활용하고 있다.

 

향후 전망

Panjaya는 현재 교육, 마케팅, 헬스케어 등 다양한 산업으로 확장을 계획하고 있으며, 실시간 처리 기능도 개발 중이다. 또한 API 출시를 통해 다른 플랫폼과의 통합도 용이하게 할 예정이다.

 

자주 묻는 질문 (FAQ)

Panjaya의 BodyTalk는 어떤 기능을 제공하나요?

BodyTalk는 29개 언어로 자동 번역된 콘텐츠를 제공하며, 음성 및 입술 동기화를 통해 자연스러운 더빙 결과물을 제공합니다.

 

Panjaya의 주요 고객은 누구인가요?

TED와 JFrog 같은 기업들이 Panjaya의 기술을 사용하고 있으며, 특히 TED에서는 조회 수가 115% 증가하는 효과를 보였습니다.

 

딥페이크 기술은 윤리적으로 안전한가요?

Panjaya는 '딥 리얼'이라는 개념을 사용하며, 오용 방지를 위한 엄격한 B2B 제어 시스템과 워터마킹 계획 등을 마련하고 있습니다.

 

BodyTalk는 어떤 산업에 적용될 수 있나요?

교육, 마케팅, 헬스케어 등 다양한 산업에서 사용될 수 있으며, 특히 글로벌 커뮤니케이션이 중요한 분야에서 큰 효과를 기대할 수 있습니다.

 

실시간 처리가 가능한가요?

현재 '거의 실시간' 처리 기능을 제공하며, 향후 완전한 실시간 처리를 목표로 개발 중입니다.