Skild AI dévoile S1, un modèle de robotique qui apprend des tâches à partir d’une seule vidéo

Skild AI a présenté S1, le nouveau modèle de fondation de l’entreprise pour la robotique, capable d’apprendre des tâches jamais vues auparavant à partir d’une seule démonstration vidéo, sans ajustement fin.

Dans sa publication publiée mardi sur X, Skild AI a expliqué que S1 utilise l’apprentissage en contexte pour effectuer des tâches à long horizon pouvant durer jusqu’à 10 minutes. Selon l’entreprise, S1 peut exécuter ces actions dans divers environnements et sur différentes architectures de robots.

Parmi les compétences démontrées figurent la préparation d’un café, la mise en pot d’une plante et la cuisson de pancakes, qui ne faisaient pas partie des données de préentraînement du modèle.

« La première fois que S1 a retourné un pancake, nous avons supposé que cette action figurait forcément dans ses données de préentraînement », a déclaré Skild AI. « Nous avons effectué une recherche dans l’ensemble de nos données de préentraînement et n’avons trouvé aucun exemple de retournement de pancake. S1 a déduit cette tâche hors distribution à partir d’une seule invite vidéo. »

Selon l’entreprise, S1 représente une « avancée majeure » par rapport aux modèles vision-langage-action (VLA) conventionnels : il peut égaler les performances des VLA guidés par des instructions en langage naturel pour les tâches connues et surpasse les VLA guidés par le langage existants lorsqu’il s’agit d’apprendre des tâches totalement nouvelles.

Skild AI estime que les modèles VLA existants auraient besoin de 50 à 100 heures supplémentaires de collecte de données et d’ajustement fin pour atteindre une précision comparable avec un seul exemple.

L’équipe a également souligné que son nouveau modèle n’imite pas aveuglément la démonstration vidéo, mais fait preuve d’une compréhension du « bon sens » qui va au-delà de l’invite fournie. Il peut résister aux perturbations, improviser ou même faire preuve de davantage de précision que celle montrée dans la vidéo.

S1 étend les capacités d’apprentissage en contexte liées à la mobilité que Skild AI avait dévoilées l’année dernière dans LocoFormer, lesquelles permettaient à un robot de s’adapter à des perturbations telles que des jambes désactivées et des roues bloquées.

Skild AI a indiqué avoir commencé à déployer S1 auprès d’un nombre limité de partenaires industriels et prévoir un déploiement plus large dans les prochains mois.