Tencent Holdings Ltd. a lancé et rendu open source vendredi Hy4 Preview, un grand modèle de langage que l’entreprise présente comme conçu pour des tâches de productivité couvrant le codage, le travail de bureau, le développement de jeux et la recherche scientifique.

Le modèle Hy4 Preview fonctionne avec 770 milliards de paramètres au total et 49 milliards de paramètres actifs, avec une fenêtre de contexte dépassant 1 million de tokens, a déclaré Tencent dans un communiqué. La taille et le volume de données du modèle ont été considérablement augmentés par rapport à son prédécesseur, avec des avancées tant au niveau du pré-entraînement que du post-entraînement.

Hy4 Preview est disponible en tant que modèle open source et accessible dans le monde entier via WorkBuddy et CodeBuddy, ainsi que Yuanbao et ima. Les utilisateurs peuvent se connecter au modèle via API par l’intermédiaire de Tencent Cloud TokenHub et d’OpenRouter.

Le modèle sera disponible gratuitement sur WorkBuddy et CodeBuddy pendant deux semaines après son lancement. L’accès gratuit à l’ancien modèle Hy3 sur les deux plateformes a été prolongé jusqu’au 30 sept., selon le communiqué.

Développement et résultats des tests

Lors d’une évaluation à l’aveugle menée en interne par Tencent auprès de 163 experts et portant sur 203 tâches d’ingénierie, Hy4 Preview a obtenu une note moyenne de 2,99 sur 4,00, contre 2,92 pour GLM-5.3 de Z.AI Co. et 2,94 pour Kimi K3 de Moonshot AI.

Le modèle a été développé à l’aide de données d’entraînement cocréées avec des experts de Tencent dans les domaines du génie logiciel, des jeux vidéo, de la finance et de la sécurité, ainsi que grâce à une co-conception avec des produits tels que WorkBuddy, a indiqué l’entreprise.

Hy4 Preview a contribué pour la première fois à son propre processus de développement, en participant à l’optimisation automatisée des méthodes d’entraînement, des stratégies de données, des cadres d’évaluation et des opérateurs de bas niveau, a déclaré Tencent. Le modèle a proposé des approches et itéré en fonction des résultats, établissant une boucle d’auto-amélioration récursive à un stade précoce.

Le modèle a également analysé de manière autonome les goulets d’étranglement de son système d’inférence et mené plusieurs cycles d’optimisation de la fusion d’opérateurs et des communications. Tencent affirme que ces améliorations ont augmenté le débit de bout en bout de 31,8 % par rapport à la référence, avec des gains constants pour différentes longueurs de contexte et différents niveaux de concurrence.

La tarification de l’API est fixée à 0,834 $ par million de tokens d’entrée, 2,501 $ par million de tokens de sortie et 0,042 $ par million de tokens pour les accès au cache.