Tencent Holdings Ltd. lanzó y liberó como código abierto el viernes Hy4 Preview, un modelo de lenguaje grande que, según la empresa, está diseñado para tareas de productividad relacionadas con la programación, el trabajo de oficina, el desarrollo de videojuegos y la investigación científica.
El modelo Hy4 funciona con un total de 770.000 millones de parámetros y 49.000 millones de parámetros activos, con una ventana de contexto de más de 1 millón de tokens, según Tencent en un comunicado. La empresa amplió significativamente el tamaño y el volumen de datos del modelo con respecto a su predecesor, con avances tanto en el preentrenamiento como en el posentrenamiento.
Hy4 Preview está disponible como modelo de código abierto y se puede utilizar globalmente a través de WorkBuddy y CodeBuddy, así como de Yuanbao e ima. Los usuarios pueden conectarse al modelo mediante API a través de Tencent Cloud TokenHub y OpenRouter.
El modelo estará disponible de forma gratuita en WorkBuddy y CodeBuddy durante dos semanas después de su lanzamiento. Según el comunicado, el acceso gratuito al modelo Hy3 anterior en ambas plataformas se ha ampliado hasta el 30 de septiembre.
Resultados de desarrollo y pruebas
En una evaluación ciega realizada internamente por Tencent con la participación de 163 expertos y 203 tareas de ingeniería, Hy4 Preview obtuvo una puntuación media de 2,99 sobre 4,00, frente a 2,92 de GLM-5.3, de Z.AI Co., y 2,94 de Kimi K3, de Moonshot AI.
El modelo se desarrolló utilizando datos de entrenamiento creados conjuntamente con expertos de Tencent en ingeniería de software, videojuegos, finanzas y seguridad, así como mediante el codiseño con productos como WorkBuddy, según la empresa.
Hy4 Preview contribuyó por primera vez a su propio proceso de desarrollo al participar en la optimización automatizada de métodos de entrenamiento, estrategias de datos, marcos de evaluación y operadores de bajo nivel, según Tencent. El modelo propuso enfoques e iteró basándose en los resultados, estableciendo un bucle inicial de auto mejora recursiva.
El modelo también analizó de forma autónoma los cuellos de botella de su sistema de inferencia y llevó a cabo varias rondas de optimización de la fusión de operadores y las comunicaciones. Tencent afirma que las mejoras aumentaron el rendimiento integral un 31,8 % en comparación con la línea base, con ganancias constantes en distintas longitudes de contexto y niveles de concurrencia.
El precio de la API se ha establecido en 0,834 $ por cada millón de tokens de entrada, 2,501 $ por cada millón de tokens de salida y 0,042 $ por cada millón de tokens en aciertos de caché.