AI 기업들은 왜 Robot Foundation Model에 뛰어들고 있을까?

‘ChatGPT’의 등장 이후 AI 산업에는 분명한 변화가 나타났습니다. 과거에는 번역, 요약, 이미지 인식, 음성인식 등 작업별로 서로 다른 AI를 개발하는 방식이 일반적이었습니다. 하지만 Foundation Model이 등장하면서 하나의 AI가 여러 작업을 이해하고 수행하는 방향으로 무게중심이 이동했습니다.

로보틱스 산업에서도 비슷한 움직임이 나타나고 있습니다. ‘Physical Intelligence’는 여러 작업에 적용할 수 있는 범용 로봇 정책을 개발하고 있으며(출처: π0: Our First Generalist Policy), ‘Skild AI’는 서로 다른 형태의 로봇을 하나의 지능으로 제어하는 것을 목표로 합니다(출처: The case for an omni-bodied robot brain). ‘Dexterity’ 역시 실제 산업 현장에서 축적한 경험을 바탕으로 로봇이 물리적 환경을 이해하고, 행동 이후의 변화까지 예측하는 Physical AI를 강조하고 있습니다(출처: dexterity, Introducing Foresight).

기업마다 사용하는 기술 용어와 개발 방식은 다르지만 지향점은 비슷합니다. 특정 로봇과 특정 작업만을 위한 AI가 아니라, 하나의 지능을 더 많은 로봇과 작업에 확장하는 것입니다.

그렇다면 AI 기업들은 왜 기존의 작업별 로봇 AI를 넘어 Robot Foundation Model을 만들기 시작했을까요? 단순히 더 크고 복잡한 모델을 만들기 위해서는 아닙니다. 새로운 작업이 생길 때마다 데이터 수집부터 모델 개발, 검증, 현장 적용까지 다시 반복하는 방식으로는 로봇 산업을 빠르게 확장하기 어렵다는 판단이 그 출발점에 있습니다.

하나의 작업을 위해 하나의 AI를 만들던 시대

기존 산업용 로봇은 대부분 정해진 작업을 기준으로 설계됐습니다. 피킹 로봇은 피킹에 맞춰 개발하고, 디팔레타이징과 분류, 조립, 검사에도 각각 다른 프로그램과 모델을 적용하는 방식입니다. 처리 대상이나 로봇의 동작, 주변 환경이 달라지면 데이터를 새로 수집하고 모델을 다시 학습시켜야 했습니다.

제품과 위치가 일정하고 동일한 동작을 반복하는 환경에서는 이러한 방식이 효과적이었습니다. 작업 조건을 미리 정의할 수 있고, 로봇이 마주할 수 있는 상황도 일정 범위 안에서 관리할 수 있었기 때문입니다.

하지만 최근 로봇이 투입되는 현장은 과거보다 훨씬 복잡합니다. 물류센터에는 크기와 형태가 제각각인 제품이 계속 유입되고, 제조 현장에서는 소재와 공정, 작업 순서가 수시로 달라집니다. 같은 작업이라도 조명, 설비 상태, 제품의 위치와 방향에 따라 로봇이 인식하는 장면은 달라질 수 있습니다.

이처럼 변화가 많은 환경에서는 모든 조건과 예외 상황을 사전에 규칙으로 정의하기 어렵습니다. 새로운 제품이나 예상하지 못한 상황이 나타날 때마다 AI를 다시 손봐야 한다면, 적용 현장이 늘어날수록 개발에 필요한 시간과 비용도 함께 커질 수밖에 없습니다.

첫 번째 이유: 작업이 바뀔 때마다 다시 개발하기 어렵다

새로운 작업 하나를 자동화하려면 현장 데이터를 수집하고 정제한 뒤 모델을 학습해야 합니다. 이후 성능을 검증하고 실제 로봇에 적용하는 과정도 필요합니다. 현장 조건이 달라지거나 새로운 제품이 추가되면 이 과정의 일부를 다시 진행해야 할 수도 있습니다.

문제는 자동화 대상이 늘어날수록 이러한 개발 과정도 프로젝트별로 계속 늘어난다는 점입니다. 한 현장에서 좋은 성능을 보인 AI가 다른 현장에서도 그대로 작동한다고 보기는 어렵습니다. 사용하는 로봇과 센서가 다를 수 있고, 작업 대상과 공정 조건도 달라지기 때문입니다. 개별 프로젝트를 완성하는 데는 효과적인 방식이지만, 수많은 작업과 현장으로 빠르게 확장하기에는 분명한 제약이 있습니다.

Robot Foundation Model은 여기서 접근 방식을 바꿉니다. 새로운 작업이 생길 때마다 AI를 처음부터 개발하는 대신, 여러 작업과 환경을 미리 학습한 기반 모델을 활용합니다(출처: IEEE Robotics and Automation Society). 기존에 익힌 시각 정보와 물체의 특성, 로봇의 동작 경험을 새로운 작업에도 활용해 추가 개발의 범위를 줄이는 방식입니다. 처음부터 다시 시작하는 것이 아니라, 이미 학습한 지능을 새로운 현장에 맞게 확장하는 것입니다.

두 번째 이유: 산업 현장의 예외를 모두 규칙으로 만들 수 없다

디지털 환경에서 작동하는 AI와 물리적 환경에서 움직이는 AI 사이에는 큰 차이가 있습니다. 로봇이 물체 하나를 집어 올리면 주변 환경도 함께 변합니다. 물체의 위치가 바뀌고, 이전에는 가려져 있던 영역이 드러나며, 주변에 쌓여 있던 다른 물체의 균형에도 영향을 줄 수 있습니다. 로봇의 행동은 결과를 출력하는 데서 끝나지 않고 실제 환경의 상태를 바꿉니다.

Dexterity는 이러한 물리적 작업에서 현재 상태를 정확히 인식하는 것만으로는 충분하지 않다고 설명합니다. 로봇이 특정 행동을 했을 때 주변 환경이 어떻게 변할지를 함께 예측해야 한다는 것입니다. 산업 현장에서는 안전성과 신뢰성뿐 아니라, 작업에 실패했을 때 어떻게 복구할 것인지도 중요합니다.

현장의 예외 상황은 완전히 없애기 어렵습니다. 같은 규격의 박스라도 일부가 찌그러져 있거나 테이프가 들떠 있을 수 있습니다. 같은 부품도 놓인 위치와 방향이 매번 달라질 수 있고, 작업 공간에 예상하지 못한 장애물이 나타날 수도 있습니다. 기존 방식은 이러한 상황을 발견할 때마다 새로운 규칙을 추가하는 데 가까웠습니다. 하지만 실제 현장에서 발생할 수 있는 모든 경우를 사람이 미리 정의하는 것은 현실적으로 어렵습니다.

Robot Foundation Model은 다양한 작업 경험을 하나의 모델에 축적함으로써, 처음 접하는 상황에서도 이미 학습한 지식을 활용할 수 있는 가능성에 주목합니다. Physical Intelligence 역시 서로 다른 로봇과 장면, 작업 사이에서 학습한 능력을 얼마나 일반화할 수 있는지를 주요 과제로 다루고 있습니다.

세 번째 이유: 로봇이 달라질 때마다 지능까지 다시 만들 수 없다

로봇에는 하나의 표준화된 형태가 없습니다. 산업용 로봇팔과 협동 로봇, 이동형 로봇, 양팔 로봇, 휴머노이드는 각각 구조와 자유도, 센서, 제어 방식이 다릅니다. 같은 작업을 수행하더라도 로봇의 형태가 달라지면 실제로 필요한 움직임도 달라집니다.

그동안은 로봇의 구조와 작업에 맞춰 AI를 각각 개발하는 방식이 일반적이었습니다. 그러나 새로운 형태의 로봇이 등장할 때마다 지능까지 다시 설계해야 한다면 로봇의 확장 속도를 따라가기 어렵습니다.

최근 AI 기업들이 특정 하드웨어에 종속되지 않는 지능을 개발하는 이유도 여기에 있습니다. Skild AI는 이를 다양한 형태의 로봇에 적용할 수 있는 ‘omni-bodied intelligence’라고 표현합니다. 하나의 통합 모델이 이동과 조작처럼 서로 다른 능력을 함께 학습하고, 여러 형태의 로봇에 적용되는 구조입니다.

물론 모든 로봇이 똑같은 동작을 하도록 만드는 것은 아닙니다. 서로 다른 로봇이 공유할 수 있는 환경 이해, 작업 지식, 행동 원리를 먼저 학습하고, 실제 동작은 각 로봇의 구조에 맞춰 실행하는 방식에 가깝습니다. 로봇별로 지능 전체를 새로 만드는 대신, 공통된 지능과 개별 하드웨어의 차이를 연결하려는 것입니다.

네 번째 이유: 로봇 AI에도 데이터가 순환하는 구조가 필요하다

Foundation Model의 경쟁력은 단순히 모델의 크기로 결정되지 않습니다. 어떤 데이터를 얼마나 다양하게 학습했으며, 그 경험을 새로운 작업에 얼마나 잘 활용할 수 있는지가 중요합니다.

하지만 로봇 데이터는 인터넷의 텍스트나 이미지처럼 이미 대규모로 쌓여 있는 데이터가 아닙니다. 실제 로봇을 움직여 데이터를 수집해야 하고, 센서 정보와 로봇의 상태, 행동 과정, 작업 결과를 함께 기록해야 합니다(출처: 논문, Transferring Foundation Models for Generalizable Robotic Manipulation).

데이터를 모으는 과정 자체도 쉽지 않습니다. 로봇의 잘못된 동작으로 장비나 제품이 손상될 수 있고, 산업 현장의 운영을 방해할 수도 있습니다. 언어와 이미지 데이터에 비해 수집 비용이 높고, 데이터의 형태도 훨씬 복잡합니다.

Skild AI 역시 로봇 분야에는 언어 모델의 인터넷과 같은 대규모 공통 데이터가 부족하다는 점을 주요 장벽으로 보고 있습니다. 이를 보완하기 위해 실제 로봇 데이터뿐 아니라 사람의 행동 영상과 시뮬레이션 데이터 등을 함께 활용하는 방식이 연구되고 있습니다.

이러한 관점에서 실제 산업 현장에 로봇을 배치하는 것은 단순히 제품을 납품하는 것 이상의 의미를 가집니다. 로봇이 현장에서 작업할수록 새로운 데이터가 쌓입니다. 이 데이터를 이용해 AI의 성능을 개선하면 더 다양한 상황을 처리할 수 있고, 다시 더 많은 현장에 배치할 수 있습니다. 현장이 늘어나면 학습에 활용할 수 있는 데이터도 함께 늘어납니다.

이 구조가 반복되면 개별 작업의 성능뿐 아니라, 실제 산업 현장에서 축적한 경험 자체가 기업의 경쟁력이 됩니다. Dexterity가 실제 운영 환경에서 축적한 1억 회 이상의 자율 동작 경험을 Physical AI의 기반으로 강조하는 것도 이러한 맥락에서 볼 수 있습니다(출처: dexterity, Introducing Foresight).

다섯 번째 이유: 로봇을 개별 프로젝트에서 플랫폼으로 확장하기 위해

기존 산업 자동화는 고객의 특정 문제를 해결하는 프로젝트 형태로 발전해 왔습니다. 하나의 공정을 분석하고, 해당 공정에 필요한 로봇과 비전, 소프트웨어를 구성해 현장에 적용합니다. 이는 고객의 요구사항을 세밀하게 반영할 수 있다는 장점이 있지만, 프로젝트마다 개발 경험을 다시 쌓아야 한다면 사업을 확장하는 데는 한계가 있습니다.

Robot Foundation Model이 만들고자 하는 변화는 로봇 AI를 개별 프로젝트에 포함되는 하나의 기능이 아니라, 여러 애플리케이션이 함께 사용하는 지능의 기반으로 전환하는 것입니다.

예를 들어 피킹 작업을 통해 학습한 물체 인식과 충돌 회피 경험을 다른 조작 작업에도 활용할 수 있습니다. 한 현장에서 확보한 실패 데이터가 다른 현장의 성능 개선으로 이어질 수도 있습니다.

AI 기업들이 Robot Foundation Model에 투자하는 이유는 더 많은 로봇 시연을 보여주기 위해서만은 아닙니다. 작업과 현장이 달라질 때마다 개별적으로 개발하던 구조를, 학습한 경험을 재사용하고 확장할 수 있는 플랫폼 구조로 바꾸려는 것입니다.

Robot Foundation Model만으로 산업 현장의 문제가 해결되지는 않는다

다만 Robot Foundation Model 하나가 모든 산업 자동화 문제를 해결해 주는 것은 아닙니다. 실제 산업 현장에서는 처리 속도와 정확도, 가동률, 안전성, 설비 연동, 유지보수까지 함께 검증해야 합니다. 새로운 작업을 한 번 수행할 수 있다는 것과 생산 현장에서 같은 작업을 안정적으로 반복할 수 있다는 것은 다른 문제입니다.

Dexterity가 Physical AI를 설명하면서 안전성과 해석 가능성, 생산 환경에서의 신뢰성을 함께 강조하는 이유도 여기에 있습니다. 모델의 범용성만큼 실제 현장에 적용할 수 있는 완성도가 중요하기 때문입니다.

앞으로의 경쟁도 누가 가장 큰 모델을 보유했는지, 누가 가장 복잡한 시연 영상을 공개했는지만으로 결정되지는 않을 것입니다. 범용 모델을 기존 산업 시스템과 어떻게 연결하는지, 현장에서 발생한 데이터를 학습에 어떻게 반영하는지, 새롭게 학습한 능력을 얼마나 안정적으로 생산 환경에 배포할 수 있는지가 더 중요한 기준이 될 가능성이 높습니다.

CMES Robotics Insight💡

AI 기업들이 Robot Foundation Model을 개발하는 목적은 하나의 AI로 모든 로봇을 당장 움직이기 위해서만은 아닙니다. 새로운 로봇과 작업이 추가될 때마다 지능을 처음부터 다시 개발해야 했던 구조를 바꾸려는 시도에 가깝습니다.

씨메스로보틱스가 이야기하는 Industrial Intelligence 역시 하나의 범용 모델만을 의미하지 않습니다. 산업 현장을 정확하게 인식하는 AI Perception, 작업을 계획하고 실행하는 Robot Intelligence, 실제 로봇을 안정적으로 움직이는 제어 기술, 그리고 현장에서 발생하는 데이터를 다시 학습으로 연결하는 전체 구조가 함께 필요합니다.

현장에서 생성되는 데이터도 단순한 운영 기록으로 끝나서는 안 됩니다. 작업 과정에서 발생한 성공과 실패를 AI 학습에 다시 반영하고, 개선된 지능을 현장에 재배포할 수 있어야 합니다. 그래야 로봇이 더 많이 배치될수록 AI의 성능도 함께 높아지는 구조가 만들어집니다.

Robot Foundation Model이 보여주는 변화의 핵심은 비교적 분명합니다. 새로운 작업마다 새로운 AI를 개발하는 대신, 실제 산업 경험을 하나의 지능에 계속 축적하고 이를 다시 활용하는 것입니다.

앞으로 AI 로보틱스 기업의 경쟁력은 한 번의 시연에서 얼마나 복잡한 동작을 보여줬는지보다, 실제 현장에서 쌓은 경험을 새로운 작업과 로봇으로 얼마나 빠르고 안정적으로 확장할 수 있는지에 따라 달라질 것입니다.

👉 현장의 데이터가 지능이 되는 과정을 실제 사례로 확인해 보세요!