로봇에게 감각을 가르치는 방법 — Teleoperation, UMI, Simulation
로보틱스 업계에는 ‘모라벡의 역설’이라는 개념이 존재합니다. 수학적 계산이나 체스처럼 복잡한 사고가 필요한 일은 사람보다 컴퓨터가 쉽게 해내는 반면, 걷기나 빨래 개기, 컵 옮기기처럼 감각을 쓰는 일은 사람에게는 쉽지만 로봇에게는 어려운 작업입니다.
사람은 달걀을 집을 때와 돌멩이를 집을 때 손의 힘을 무의식적으로 다르게 줍니다. 감각으로 대상체의 무게와 재질을 짐작하기 때문입니다. 하지만 로봇에게는 이러한 감각이 없기 때문에, 경험과 데이터를 통해 힘 조절을 배워야 합니다.
피지컬 AI는 크게 세 단계로 이루어집니다. 대상을 보고 판단하는 인지(Perception), 어떤 순서로 무엇을 할지 정하는 판단(Planning), 그리고 실제로 로봇의 관절과 그리퍼를 움직이는 제어(Control)입니다. 모라벡의 역설이 가장 잘 드러나는 지점이 바로 마지막 제어 영역입니다.
문제는 AI가 학습해야 하는 제어 데이터의 확보가 매우 어렵다는 점입니다. ChatGPT가 방대한 텍스트로 언어를 이해했듯, 로봇이 행동하려면 수많은 제어 데이터가 필요합니다. 그렇다면 이 데이터는 어떻게 습득할 수 있을까요? 크게 4가지 방법이 있습니다.
로봇 제어 데이터를 수집하는 4가지 방법
1. 로봇 움직임의 정석, 텔레오퍼레이션(Teleoperation)
사람이 특수 장갑이나 조종 장치를 통해 로봇을 직접 움직이며 데이터를 만듭니다. 마치 인형극처럼 로봇의 팔과 손을 실시간으로 움직이며 동작 하나하나를 기록합니다. 실제로 씨메스로보틱스는 텔레오퍼레이션을 통해 휴머노이드 제어 데이터를 습득하고 있습니다.
사람이 로봇으로 실제 작업을 수행하기 때문에, 로봇이 그대로 따라 하기만 하면 되는 모범 데이터가 만들어지게 됩니다. 로보틱스 업계의 공통된 의견으로는, 소량이라도 품질 좋은 텔레오퍼레이션 데이터가 있어야 이후 설명되는 다른 방법들도 제대로 작동할 수 있다고 합니다.
물론 단점도 있습니다. 아무리 단순한 작업이라도 안정적인 학습을 위해서는 수많은 시연이 필요합니다. 사람이 직접 로봇을 조작해야 하니 시간과 비용이 많이 듭니다. 게다가 특정 환경에서의 데이터 학습이 반복되면, 실제 비정형 환경에서 작업 성공률이나 정확도가 떨어질 수 있습니다.
2. 현실을 넘어선 규모의 데이터를 만드는, 시뮬레이션(Simulation)
실제 로봇과 부품 없이, 컴퓨터 속 가상 세계에서 로봇을 학습시키는 방법입니다. 엔비디아의 Isaac Sim, Isaac Lab 같은 물리 시뮬레이터 안에서는 추가 비용 걱정 없이 무한에 가깝게 반복 학습이 가능합니다.
하지만 가상 세계에서는 완벽하게 동작하던 로봇이 현실의 미세한 환경 변화에는 적응하지 못하는 경우가 많습니다. 이를 극복하기 위해서는 조명·질감·마찰 등을 계속 랜덤하게 바꿔가며 훈련시키거나, 엔비디아의 Cosmos같은 모델로 사실적인 영상을 만들거나, 3차원 장면 재구성 같은 기술을 조합해 데이터를 취득합니다.
씨메스로보틱스 역시 엔비디아의 Isaac Sim을 기반으로 로봇·휴머노이드 동작을 검증하고, 합성 데이터를 생성하며, 다양한 시나리오를 테스트하는 데 시뮬레이션을 활용하고 있습니다.
🔗 씨메스로보틱스 엔비디아 ‘코리아 AI 에코시스템 리셉션’ 참석
3. 가성비 좋은 대안, UMI/웨어러블 로봇 슈트
UMI는 로봇이 아니라 사람이 직접 도구를 들고 작업하며 데이터를 모으는 방법입니다. Universal Manipulation Interface의 약자인 UMI는 스탠퍼드 연구진이 처음 제안한 데이터 수집 방식입니다. 손에 그리퍼를 쥐고 카메라를 달아 사람이 일상 작업을 하듯 움직이면, 그 경로가 로봇의 데이터가 됩니다.
UMI에서 한 발 더 나아가서 사람 몸에 맞는 웨어러블 로봇 슈트를 입고 작업하는 외골격(exoskeleton) 방식도 있습니다. 작업에 필요한 팔의 움직임은 물론, 몸 전체의 유기적인 움직임을 정밀하게 데이터화합니다.
이 방법들의 핵심은 로봇 없이 로봇용 행동 데이터를 만들어낸다는 점입니다. 값비싼 로봇 장비 없이도 정밀한 물리 데이터를 취득할 수 있어, 스타트업이나 중소 규모 팀에서 활용하기 좋은 방법입니다. 루모스 로보틱스처럼 로봇 데이터 수집 전용 하드웨어를 통해 데이터 확보에 집중하는 기업도 늘고 있습니다.
4. 영상을 통한 사전학습
로봇이 인터넷에 퍼져있는 수많은 영상을 보고 학습하는 방식입니다. 로봇 스타트업인 Rhoda AI는 수억 편에 달하는 인터넷 영상으로 모델을 사전학습 시켜, 학습 효율을 극대화하는 방식을 택했습니다. 이같은 방식으로는 새로운 작업 하나를 학습하는 데 단 10~20시간의 영상 데이터면 충분하다고 밝혔습니다.
다만, 영상을 통한 학습은 한계가 명확합니다. 영상에는 '로봇의 관절이 어떤 각도로 움직였는지', '그리퍼의 강도는 어느 정도인지'와 같은 행동 데이터가 빠져 있기 때문입니다. 따라서 수많은 영상 데이터를 학습하더라도, 반드시 텔레오퍼레이션과 같은 방법을 통해 데이터를 보완해야 합니다.
그 어떤 실험보다 값진 현장 양산의 데이터
4가지 제어 데이터 수집 방법에는 각자의 역할과 장단점이 있습니다. 보행처럼 반복이 많은 전신 동작은 시뮬레이션으로, 손끝의 세밀한 감각이 필요한 정밀 작업은 텔레오퍼레이션과 UMI가, 전반적인 상황 판단은 대량의 영상 데이터를 적절히 활용합니다. 어느 한 방법이 무조건 맞다고 할 수 없기에, 조직과 과업에 맞춘 최적의 조합이 필요합니다.
씨메스로보틱스는 다양한 행동 데이터를 피지컬 AI로 엮어내어 실제로 글로벌 기업의 신발 제조 현장에 로봇 가이던스 솔루션을 양산하고 있습니다.
신발 부자재는 소재의 특성으로 인해, 같은 규격이라도 표면에 미묘한 차이가 생겨 비정형 작업의 대명사로 꼽힙니다. 씨메스로보틱스는 광범위한 제어 데이터를 기반으로 표면을 정확히 인지하고, 표면을 따라 일정한 거리를 유지하도록 로봇의 작업 경로를 생성하며, 로봇이 경로대로 정밀하게 움직이도록 제어합니다. 자동화의 불모지로 불리던 신발 제조 공정에서 피지컬 AI 제조 설비 양산을 이루어낸 실전 경험입니다.
양산은 끝이 아닙니다. 씨메스로보틱스는 현장에서 축적한 원천기술을 다시 로봇 시뮬레이션 학습에 투입해 매니퓰레이션 성능을 고도화하고 있습니다. 현장에서 얻은 데이터가 다시금 시뮬레이션을 정교하게 만들고, 정교해진 시뮬레이션이 다시 현장의 작업을 고도화합니다.
모라벡의 역설은 여전히 유효합니다. 다만 그 역설을 푸는 열쇠는 현장에서 검증된 데이터에 있습니다.
👉 신발 제조 자동화의 핵심 솔루션, 로봇 가이던스 바로가기