Tencent Holdings Ltd. a publié vendredi et rendu open source Hy4 Preview, un grand modèle de langage conçu, selon l’entreprise, pour des tâches de productivité couvrant le codage, le travail de bureau, le développement de jeux vidéo et la recherche scientifique.
Le modèle Hy4 Preview repose sur 770 milliards de paramètres au total et 49 milliards de paramètres actifs, avec une fenêtre de contexte dépassant 1 million de tokens, a indiqué Tencent dans une déclaration. Le modèle a connu une augmentation significative de sa taille et du volume de données par rapport à son prédécesseur, avec des avancées tant lors du pré-entraînement que du post-entraînement.
Hy4 Preview est disponible en tant que modèle open source et est accessible dans le monde entier via WorkBuddy et CodeBuddy, ainsi que Yuanbao et ima. Les utilisateurs peuvent se connecter au modèle via une API par l’intermédiaire de Tencent Cloud TokenHub et d’OpenRouter.
Le modèle sera disponible gratuitement sur WorkBuddy et CodeBuddy pendant deux semaines après son lancement. L’accès gratuit à l’ancien modèle Hy3 sur les deux plateformes a été prolongé jusqu’au Sept. 30, selon la déclaration.
Résultats du développement et des tests
Lors d’une évaluation en aveugle menée en interne par Tencent auprès de 163 experts et portant sur 203 tâches d’ingénierie, Hy4 Preview a obtenu une note moyenne de 2.99 sur 4.00, contre 2.92 pour GLM-5.3 de Z.AI Co. et 2.94 pour Kimi K3 de Moonshot AI.
Le modèle a été développé à l’aide de données d’entraînement cocréées avec des experts de Tencent dans les domaines du génie logiciel, des jeux vidéo, de la finance et de la sécurité, ainsi que grâce à une cocréation avec des produits tels que WorkBuddy, a indiqué l’entreprise.
Hy4 Preview a contribué pour la première fois à son propre processus de développement, en participant à l’optimisation automatisée des méthodes d’entraînement, des stratégies de données, des cadres d’évaluation et des opérateurs de bas niveau, a indiqué Tencent. Le modèle a proposé des approches et les a affinées en fonction des résultats, établissant une boucle initiale d’auto-amélioration récursive.
Le modèle a également analysé de manière autonome les goulots d’étranglement de son système d’inférence et effectué plusieurs séries d’optimisations de la fusion d’opérateurs et des communications. Tencent affirme que ces améliorations ont accru le débit de bout en bout de 31.8% par rapport à la référence, avec des gains constants pour différentes longueurs de contexte et différents niveaux de concurrence.
La tarification de l’API est fixée à $0.834 par million de tokens d’entrée, $2.501 par million de tokens de sortie et $0.042 par million de tokens pour les accès au cache.