Skild AI dévoile S1, un modèle de robotique qui apprend des tâches à partir d'une seule vidéo

Skild AI a présenté S1, le nouveau modèle fondamental de l'entreprise pour la robotique, capable d'apprendre des tâches jamais vues auparavant à partir d'une seule démonstration vidéo, sans ajustement fin.

Dans sa publication de mardi sur X, Skild AI a déclaré que S1 utilise l'apprentissage en contexte pour exécuter des tâches à long horizon pouvant durer jusqu'à 10 minutes. Selon l'entreprise, S1 peut réaliser ces actions dans divers environnements et sur différentes configurations robotiques.

Parmi les compétences démontrées figurent la préparation d'un café, la mise en pot d'une plante et la cuisson de crêpes, qui ne faisaient pas partie des données de préentraînement du modèle.

« La première fois que S1 a retourné une crêpe, nous avons supposé que le retournement de crêpes devait faire partie de ses données de préentraînement », a déclaré Skild AI. « Nous avons cherché dans l'ensemble de nos données de préentraînement et n'avons trouvé aucun exemple de retournement de crêpe. S1 a déduit cette tâche hors distribution à partir d'une seule consigne vidéo. »

Selon l'entreprise, S1 représente un « bond en avant » par rapport aux modèles vision-langage-action (VLA) conventionnels : il peut égaler les performances des VLA guidés par le langage pour les tâches connues et surpasse les VLA guidés par le langage existants lorsqu'il s'agit d'apprendre des tâches totalement nouvelles.

Skild AI estime que les modèles VLA existants auraient besoin de 50 à 100 heures supplémentaires de collecte de données et d'ajustement fin pour atteindre une précision comparable avec un seul exemple.

L'équipe a également souligné que son nouveau modèle ne se contente pas d'imiter aveuglément la démonstration vidéo, mais qu'il fait preuve d'une compréhension du « bon sens » qui va au-delà de la consigne donnée. Il peut résister aux perturbations, improviser ou même faire preuve de davantage de précision que dans la vidéo de démonstration.

S1 s'appuie sur les capacités d'apprentissage en contexte liées à la mobilité que Skild AI avait dévoilées l'an dernier dans LocoFormer, lesquelles permettaient à un robot de s'adapter à des perturbations telles que des pattes désactivées et des roues bloquées.

Skild AI a indiqué avoir commencé à déployer S1 auprès d'un nombre limité de partenaires industriels et prévoit un déploiement plus large dans les prochains mois.