TypeSafe, 프런티어 LLM보다 최대 200배 빠른 의사결정을 제공한다고 주장하며 Jev 공개

소프트웨어 자동화에 주력하는 AI 스타트업 TypeSafe가 "System One"이라는 새로운 모델을 공개했다. 회사는 이 모델이 소프트웨어가 직접 사용할 수 있는 빠르고 구조화된 의사결정을 내리도록 설계됐다고 밝혔다.

회사는 화요일 출시했다 System One을 기반으로 구축된 첫 공개 모델인 Jev를 얼리 액세스로 제공하기 시작했다.

한 블로그 게시물에서 TypeSafe의 창업자 겸 CEO인 Diogo Almeida는 팀이 비공개 개발 기간 동안 자동화에만 초점을 맞춘 새로운 AI 스택을 구축하는 데 시간을 쏟았다고 밝혔다. 이 스택에는 새로운 모델 아키텍처, 효율성을 극대화하기 위한 병렬 샘플러, 그리고 회사가 보정된 의사결정을 위한 강화학습(Reinforcement Learning for Calibrated Decisions, RLCD)이라고 부르는 학습 방법이 포함된다.

TypeSafe는 밝혔다. 현재의 프런티어 모델이 환각을 일으키고 예측 가능한 동작에 의존하는 시스템에 불필요한 변동성을 초래할 수 있다고. 이 스타트업은 "의미론적 판단과 지능적 의사결정이 필요한 애플리케이션을 위한 조합 가능한 소프트웨어 기본 요소로 기능할 수 있는" 지능을 구축함으로써 다른 접근 방식을 취하고 있다고 밝혔다.

OpenAI의 ChatGPT 개발에 참여했던 Almeida는 "Jev를 프런티어 수준의 지능을 제공하는 함수 호출이라고 생각하면 됩니다. 비구조화된 상태를 입력하면 타입이 지정된 확률적 의사결정을 출력합니다"라고 말했다.

텍스트를 생성하지 않고 더 빠르게

기존의 대규모 언어 모델과 달리 Jev는 텍스트나 문자열을 생성하지 않으며, 대신 구조화된 출력에 최적화됐다. 창업자는 Jev가 기존 대규모 언어 모델과 유사한 수준의 지능을 달성하면서도 "100배 더 빠르고 효율적"일 수 있다고 말했다.

TypeSafe는 Jev의 엔드투엔드 응답 시간이 약 70ms에서 500ms인 반면, 기존 프런티어 LLM은 약 3초에서 329초라고 추정했다.

창업자는 게시물에서 "System One에 맞춰진 쿼리에서 동일한 수준의 프런티어 지능을 기준으로 40배에서 200배 빠를 수 있습니다"라고 썼다. 그는 기존 프런티어 모델이 "사람과 상호작용하기에는 충분히 빠르지만, 코드에 통합하면 큰 병목이 된다"고 덧붙였다.

Almeida는 "AI가 소프트웨어가 의존할 수 있는 인터페이스를 필요로 한다고 믿었기 때문에 TypeSafe를 시작했습니다"라고 말했다.

성명에 따르면 TypeSafe는 DCVC가 주도한 4,000만 달러 규모의 시드 투자를 유치했다.

DCVC의 제너럴 파트너인 James Hardiman은 성명에서 "TypeSafe는 AI에 남아 있는 가장 큰 과제 중 하나에 접근하고 있습니다. 점점 더 역량이 향상되는 모델을 개발자가 규모 있게 제품에 안정적으로 구축할 수 있는 기술로 전환하는 것입니다"라고 말했다.