Skild AI, 단일 영상만으로 작업을 학습하는 S1 로보틱스 모델 공개

Skild AI는 단일 영상 시연만으로 미세 조정 없이 이전에 본 적 없는 작업을 학습할 수 있는 새로운 로보틱스 파운데이션 모델 S1을 공개했다.

Skild AI는 화요일 게시물에서 S1이 문맥 내 학습을 사용해 최대 10분 동안 지속되는 장기 작업을 수행한다고 X에서 밝혔다. 회사는 S1이 다양한 환경과 서로 다른 로봇 형태에서 이러한 동작을 실행할 수 있다고 설명했다.

시연된 기술에는 커피 만들기, 식물 화분에 심기, 팬케이크 굽기 등이 포함되며, 이러한 작업은 모델의 사전 학습 데이터에 없었다.

"S1이 처음으로 팬케이크를 뒤집었을 때, 우리는 팬케이크 뒤집기가 사전 학습 데이터에 포함돼 있었음이 틀림없다고 생각했습니다." Skild AI는 밝혔다. "사전 학습 데이터를 모두 검색한 결과 뒤집기 사례는 없었습니다. S1은 영상 프롬프트 하나만으로 분포 외 작업을 추론했습니다."

회사에 따르면 S1은 기존 비전-언어-행동(VLA) 모델에 비해 "한 단계 도약한" 성능을 보인다. 즉, 알려진 작업에서는 언어 프롬프트를 받은 VLA와 동등한 성능을 내고, 완전히 새로운 작업을 학습하는 능력에서는 기존 언어 프롬프트 기반 VLA를 능가한다.

Skild AI는 기존 VLA 모델이 한 가지 사례에서 비슷한 정확도에 도달하려면 50~100시간의 추가 데이터 수집과 미세 조정이 필요할 것으로 추정했다.

팀은 또한 새 모델이 영상 시연을 맹목적으로 모방하는 것이 아니라, 주어진 프롬프트를 넘어서는 "상식" 수준의 이해를 보여준다고 설명했다. S1은 교란을 견디고 즉흥적으로 대응하며, 영상에서 시연된 것보다 더 높은 정밀도를 보일 수도 있다.

S1은 Skild AI가 지난해 LocoFormer에서 공개한 이동성 관련 문맥 내 학습 역량을 확장한 모델이다. LocoFormer는 다리가 작동하지 않거나 바퀴가 잠기는 등의 방해 요소에 로봇이 적응할 수 있도록 했다.

Skild AI는 제한된 산업 파트너를 대상으로 S1 배포를 시작했으며, 향후 몇 달 내에 더 광범위하게 출시할 계획이라고 밝혔다.