OpenAI, GPT-4o 및 GPT-4o-mini에 "예측 출력" 기능 도입

AI 텍스트 처리 속도 2~4배 향상... 대용량 파일 수정 시간 단축
특정 사용 사례에 최적화된 새로운 기능

출처:OpenAI

 

OpenAI는 GPT-4o 및 GPT-4o-mini 언어 모델을 위한 "예측 출력"이라는 새로운 기능을 도입했다고 발표했다. 이 기능을 통해 AI 지원 텍스트 처리 속도가 이전보다 훨씬 빨라졌다.

 

새로운 기능에 대한 초기 테스트에서 상당한 속도 향상이 나타났다. 코드 편집 응답은 기존 모델에 비해 2~4배 더 빠르며, 약 70초가 걸리던 대용량 파일 수정을 이제 약 20초 만에 완료할 수 있다. OpenAI는 문서의 블로그 게시물 업데이트, 이전 응답 반복, 기존 파일의 코드 다시 작성을 포함한 몇 가지 주요 응용 프로그램을 지적하고 있다.

 

이 시스템은 간단한 원칙에 따라 작동한다. 개발자는 예상 출력 부분을 미리 입력할 수 있으며, 이 접근 방식은 모델이 더 적은 새 토큰을 생성해야 하기 때문에 반복적인 작업이나 작은 문서 변경에 특히 효과적이다. OpenAI는 일반적인 지침으로 출력 토큰의 50%를 저장할 수 있을 때 처리 시간이 약 50% 감소한다고 설명했다.

 

그러나 예측된 출력은 특수한 사용 사례에만 유용하다. 이 기능은 예측이 모델이 응답할 내용과 밀접하게 일치할 때 가장 잘 작동하지만, 의미 있는 예측이 불가능한 완전히 새로운 콘텐츠를 생성하는 데는 덜 효과적이다. OpenAI는 Python, JavaScript, Go, C++를 포함한 여러 프로그래밍 언어에서 이 기능을 성공적으로 테스트했다.

 

이 기능에는 특정 제한이 있으며, GPT-4o 및 GPT-4o-mini 모델에서만 사용할 수 있다. 다중 출력이나 함수 호출과 같은 고급 API 매개변수에서는 작동하지 않는다. OpenAI는 개발자가 최대 효율성을 달성하기 위해 먼저 제어되고 예측 가능한 작업으로 기능을 테스트해야 한다고 제안하고 있다.

 

해당 기능에 대한 자세한 내용은 OpenAI 설명서에서 확인할 수 있다.