TypeSafe présente Jev, affirmant des décisions jusqu’à 200 fois plus rapides que celles des LLM de pointe

TypeSafe, une start-up spécialisée dans l’IA pour l’automatisation logicielle, présente un nouveau modèle appelé « System One », conçu, selon l’entreprise, pour prendre rapidement des décisions structurées que les logiciels peuvent utiliser directement.

Mardi, l’entreprise a lancé Jev, son premier modèle accessible au public, basé sur System One, en accès anticipé.

Dans un article de blog, Diogo Almeida, fondateur et directeur général de TypeSafe, a déclaré que l’équipe avait consacré sa période de développement discret à la création d’une nouvelle pile d’IA entièrement axée sur l’automatisation. Cette pile comprend une nouvelle architecture de modèle, un échantillonneur parallèle pour une efficacité maximale et une méthode d’entraînement que l’entreprise appelle Reinforcement Learning for Calibrated Decisions (RLCD).

TypeSafe a déclaré que les modèles de pointe actuels peuvent halluciner et introduire une variabilité inutile dans les systèmes qui dépendent d’un comportement prévisible. La start-up affirme adopter une approche différente en concevant une intelligence capable de « servir de primitive logicielle composable pour les applications nécessitant un jugement sémantique et une prise de décision intelligente ».

« Considérez Jev comme un appel de fonction d’intelligence de pointe : un état non structuré en entrée, des décisions probabilistes typées en sortie », a déclaré Almeida, qui a contribué au développement de ChatGPT d’OpenAI.

Plus rapide sans générer de texte

Contrairement aux grands modèles de langage traditionnels, Jev ne génère ni texte ni chaînes de caractères et est plutôt optimisé pour produire des sorties structurées. Le fondateur a déclaré que Jev pouvait atteindre des niveaux d’intelligence similaires à ceux des grands modèles de langage existants tout en étant « deux ordres de grandeur plus rapide et plus efficace ».

TypeSafe estime le temps de réponse de bout en bout de Jev entre environ 70 ms et 500 ms, contre quelque 3 à 329 secondes pour les LLM de pointe existants.

« Cela peut aller de 40 à 200 fois plus vite pour des niveaux équivalents d’intelligence de pointe dans les requêtes structurées selon System One », a écrit le fondateur dans l’article. Les modèles de pointe existants sont « suffisamment rapides pour interagir avec les humains, mais constituent un important goulot d’étranglement lorsqu’ils sont intégrés au code », a-t-il ajouté.

« Nous avons créé TypeSafe parce que nous pensons que l’IA a besoin d’une interface sur laquelle les logiciels puissent compter », a déclaré Almeida.

Selon le communiqué, TypeSafe a obtenu 40 millions de dollars de financement d’amorçage, mené par DCVC.

« TypeSafe s’attaque à l’un des principaux défis encore présents dans l’IA : transformer des modèles toujours plus performants en une technologie que les développeurs peuvent intégrer de manière fiable à des produits, à grande échelle », a déclaré James Hardiman, associé commandité chez DCVC, dans le communiqué.