A Tencent Holdings Ltd. lançou e disponibilizou como código aberto na sexta-feira o Hy4 Preview, um modelo de linguagem de grande porte que, segundo a empresa, foi desenvolvido para tarefas de produtividade envolvendo programação, trabalho de escritório, desenvolvimento de jogos e pesquisa científica.
O modelo Hy4 Preview opera com 770 bilhões de parâmetros totais e 49 bilhões de parâmetros ativos, com uma janela de contexto superior a 1 milhão de tokens, informou a Tencent em uma declaração. O modelo teve aumentos significativos de tamanho e volume de dados em relação ao seu antecessor, com avanços tanto no pré-treinamento quanto no pós-treinamento.
O Hy4 Preview está disponível como modelo de código aberto e pode ser acessado globalmente pelo WorkBuddy e pelo CodeBuddy, além do Yuanbao e do ima. Os usuários podem se conectar ao modelo por meio de uma API via Tencent Cloud TokenHub e OpenRouter.
O modelo estará disponível gratuitamente no WorkBuddy e no CodeBuddy por duas semanas após o lançamento. O acesso gratuito ao modelo Hy3 anterior nas duas plataformas foi estendido até 30 de setembro, de acordo com a declaração.
Resultados de desenvolvimento e testes
Em uma avaliação às cegas conduzida internamente pela Tencent, envolvendo 163 especialistas e 203 tarefas de engenharia, o Hy4 Preview obteve uma pontuação média de 2,99 em 4,00, em comparação com 2,92 do GLM-5.3, da Z.AI Co., e 2,94 do Kimi K3, da Moonshot AI.
O modelo foi desenvolvido com dados de treinamento cocriados com especialistas da Tencent em engenharia de software, jogos, finanças e segurança, além de um codirecionamento com produtos como o WorkBuddy, informou a empresa.
Pela primeira vez, o Hy4 Preview contribuiu para seu próprio processo de desenvolvimento, participando da otimização automatizada de métodos de treinamento, estratégias de dados, estruturas de avaliação e operadores de baixo nível, informou a Tencent. O modelo propôs abordagens e iterou com base nos resultados, estabelecendo um ciclo inicial de autoaperfeiçoamento recursivo.
O modelo também analisou de forma autônoma os gargalos em seu sistema de inferência e realizou rodadas de otimização na fusão de operadores e na comunicação. A Tencent afirma que as melhorias aumentaram o throughput de ponta a ponta em 31,8% em comparação com a linha de base, com ganhos consistentes em diferentes comprimentos de contexto e níveis de concorrência.
O preço da API foi definido em US$ 0,834 por milhão de tokens de entrada, US$ 2,501 por milhão de tokens de saída e US$ 0,042 por milhão de tokens para acertos de cache.