[산업 인터뷰] 음성 AI는 로봇의 인터페이스가 될 수 있을까 — 네오사피엔스

생성형 AI는 이제 텍스트와 이미지를 만드는 기술을 넘어, 상황과 맥락에 맞춰 사람의 말을 듣고 이해하는 방향으로 진화하고 있습니다. 많은 분들은 앞으로 AI가 사람과 얼마나 자연스럽게 대화하며 실제 문제를 해결할 수 있을지 기대하고 있기도 합니다.

씨메스로보틱스는 로봇이 산업 현장에서 보고, 판단하고, 움직일 수 있도록 3D 비전과 AI 기반 로봇 자동화 기술을 개발하고 있습니다. 그리고 이번에 만난 네오사피엔스는 AI 음성 생성 서비스인 ‘타입캐스트’에서 출발해, 사람처럼 소통하는 대화형 AI 네오나 에이전트(Neona Agents)로 영역을 넓히고 있습니다. 양사의 출발점은 다르지만, 지향점은 꽤 닮았습니다. 바로 AI가 우리의 삶과 업무에서 실제로 일하게 만든다는 것입니다.

이번 인터뷰에서는 네오사피엔스 음성 AI의 성장 과정부터, 정해진 시나리오를 넘어 스스로 문제를 해결하는 AI는 어떤 기술을 갖추어야 하는지, 그리고 로봇과 피지컬 AI의 인터페이스가 음성으로 확장될 가능성을 나누었습니다.

생성형 AI 1호 상장사, 네오사피엔스

2026년 9월 21일 코스닥 시장에 네오사피엔스가 상장했습니다. 한국 증시에 생성형 AI 기업이 처음으로 이름을 올려, 그 의미가 매우 높게 평가되고 있습니다.

이번 인터뷰에는 사업개발·영업을 총괄하는 성현도 이사(Biz Dev & Sales)와 성장·전략을 총괄하는 강민성 이사(Head of Growth & Strategy)가 함께 해주셨습니다.

“국가대표라는 마음으로 한국의 에이전트 시장을 잘 이끌어야겠다는 사명감이 있습니다.”

— 네오사피엔스 강민성 이사

네오사피엔스의 성장 기반은 2019년 11월 ‘타입캐스트’라는 AI 보이스 서비스였습니다. 700여 개의 AI 음성 캐릭터가 37개 언어로 말하는 서비스로 지금까지 누적 가입자는 320만 명, 기업 고객은 2,000곳을 넘어섰습니다. 유튜브 수익화에 성공한 크리에이터 중 상당수도 타입캐스트의 목소리를 사용한다는 이야기가 있는데요. 유튜브에서 타입캐스트의 목소리를 한 번 찾아보는 것도 꽤 재미있을 것 같습니다.

사용자가 많아질수록 서비스 확장에 대한 현장의 요구는 갈수록 고도화되었습니다. 단순히 말하는 TTS(Text-to-Speech)를 넘어, AI가 듣고 생각해서 말하는 것까지 해내는 통합 솔루션에 대한 니즈가 높아진 것이었습니다.

이러한 현장의 목소리를 반영하여 네오사피엔스는 2026년 상반기에 네오나 에이전트를 출시했습니다. 네오나는 교육과 상담 분야에서 첫 업무를 시작하고 있는데요. 교육 분야에서는 윤선생 화상 영어 서비스 ‘튜잇’의 예습을 돕는 AI 튜터가 되었고, 전기차 충전 사업자인 플러그링크와는 AI 상담사(AICC)로서 역할을 수행하고 있습니다.

일반적인 AI 상담사와 무엇이 다른가요?

이른 새벽, 전기차 충전소에 들렀는데 충전이 안 되고 앱도 열리지 않습니다. 충전기에 적힌 고객센터 번호로 전화를 겁니다. 📞뚜 - 뚜 - 뚜 -

두 상담 모두 결국 상담사로 연결되었습니다. 하지만 기존에 상용화된 룰 베이스(Rule-based) AI 상담 서비스인 ‘상담 A’는 고객이 상담 시나리오에 맞춰야 했고, 끝내 문제가 무엇인지 파악하지 못했습니다. 반면 네오나가 적용된 ‘상담 B’는 커넥터 문제와 앱 오류를 함께 파악했고, 고객이 위험한 상황을 말하자 즉시 충전을 멈추고 안전하게 떨어지도록 안내했습니다. AI가 대화의 맥락을 통해 문제를 파악하고, 스스로 대처한 것입니다.

이 둘은 무엇이 다를까요? 가장 근본적인 차이는 바로 ‘시나리오’입니다. 기존 AI 상담사의 대부분은 문의 내용에 대한 질문 시나리오를 준비하고, 미리 정해둔 흐름에 고객의 답을 끼워 맞춥니다. 그래서 안내 중간에 끼어들거나 한 번에 여러 문제를 말하면 복합적인 문제를 인식하지 못합니다. 하지만 네오나는 고객이 가져온 문의를 그대로 인식하여 문제를 해결합니다. 정해진 흐름을 따라가는 '시나리오형'이 아니라, 고객의 의도와 상황을 이해하고 스스로 해결책을 찾아가는 '문제해결형 Voice Agent'인 것입니다.

“시나리오 기반 상담사는 ‘커넥터’처럼 특정 단어를 말해야 알아들어요. 시나리오에 그렇게 들어가 있으니까요. 네오나는 ‘충전할 때 꽂는 그것’이라고만 해도 AI를 통해 이해할 수 있습니다.”

— 네오사피엔스 강민성 이사

자연스러운 대화, 그 이상의 문제해결형 Voice Agent

문제해결형 Voice Agent가 실제 현장에서 작동하기 위해서는, 그 전제로 자연스러운 대화가 가능해야 합니다. 고객의 말을 정확하게 이해하지 못하거나 대화의 맥락을 자연스럽게 이어가지 못하면, 고객의 의도와 상황을 제대로 파악할 수 없고 결국 문제를 해결하지 못하기 때문입니다.

사람과 대화할 때 느껴지는 자연스러움은 목소리 톤과 타이밍, 대화 내용 등이 복합적으로 이루어진 결과입니다. 네오사피엔스는 AI가 사람과 자연스럽게 대화하기 위해 갖춰야 할 핵심 요소를 세 가지로 정의했습니다.

1. 직접 만든 모델

네오사피엔스는 음성을 알아듣는 STT(Speech-to-Text), 생각하는 LLM, 말하는 TTS를 자체 구축 및 운영하며, 전체 대화 과정을 최적화하고 있습니다. 실제로 37개 언어·130만 시간의 음성 데이터를 학습한 자체 음성 파운데이션 모델(SSFM) 기반의 실시간 대화형 AI 기술을 보유하고 있다고 설명했습니다.

자체 모델은 한국어에서 더욱 빛을 발합니다. 영어를 중심으로 학습된 범용 모델은 한국어의 다양한 특성들을 놓치기 쉽습니다. 한국어는 높임말이 있고, 실제 대화에서 주어를 생략하거나, 문장을 끝맺지 않는 경우가 많기 때문입니다. 또한 상담 고객들은 지역별 억양이나 방언을 사용하기도 합니다. 실제로 한국인도 알아듣기 힘든 제주도 방언에 대한 고객 요청에, 자체 모델을 학습시켜 대응할 수 있었다고 합니다.

“핵심 기술을 자체적으로 구축 및 운영하기 때문에 고객사의 실제 업무 환경에 맞춰 음성 대화형 AI를 End-to-End로 최적화할 수 있습니다. 외부 API에 의존하지 않고 기술을 직접 운영하기 때문에, 고객사의 요구에 빠르게 대응하면서도 안정적인 대화 품질을 제공할 수 있다는 점이 차별점입니다.”

— 네오사피엔스 강민성 이사

2. 상황을 판단하는 AI

사람에게는 대화 상대의 말이 끝난 건지, 잠시 숨을 고르는 타이밍인지 판단하는 것이 자연스러운 일이지만, AI에게는 가장 어려운 문제입니다. 기존의 타입캐스트는 크리에이터가 원하는 감정과 말투를 직접 지정한다면, 네오나는 그 판단을 스스로 하고 있습니다.

바로 ‘턴테이킹’이라고 하는 모델을 통해서 말입니다. 상대가 말을 멈춘 것인지 끝낸 것인지, 지금 답해야 할 때인지 조금 더 들어야 할 때인지를 판단하는 기술입니다. 앞선 상담 사례에서 고객이 말을 끊고 새로운 이야기를 했을 때도 대화가 끊기지 않고 문제 해결까지 이어질 수 있던 비결입니다.

3. 기다림은 최소화

사람끼리 대화할 때 한 사람의 말이 끝나고 다음 사람이 말을 시작하기까지 걸리는 시간은 대개 0.3초 내외입니다. 현재의 네오나는 사용자의 말이 끝난 뒤 약 0.6초 만에 답을 시작할 정도로 근접했습니다.

듣고, 생각하고, 말하는 과정을 AI가 차례대로 처리하면 어쩔 수 없는 지연이 생깁니다. 네오사피엔스는 병렬적 작업을 통해 처리 속도를 높였습니다. 대화가 이어지는 동안 STT는 계속해서 듣고, TTS는 답변의 첫 마디가 나오는 순간부터 음성으로 변환합니다. 각 기능을 하는 AI 모델을 직접 가지고 있기에 가능한 일입니다.

다음 목표를 향해 나아갈수록 파운데이션 모델은 더욱 중요해집니다. 피지컬 AI가 상용화될수록 사용자와 현장에서 실시간 쌍방향 소통을 해야 하기 때문입니다. 피지컬 AI로의 확장을 위해서는 온디바이스 방향의 에이전트 개발이 더 필요할 것입니다.

음성은 피지컬 AI의 인터페이스가 될 수 있을까

네오나는 전화 상담을 통해 AI가 사람과 실시간으로 대화하며 실제로 문제를 해결할 수 있음을 보여주었습니다. 이러한 가능성으로, 제조나 물류 현장의 피지컬 AI의 인터페이스로 확장될 수 있을지 씨메스로보틱스와 네오사피엔스의 인사이트를 모아봤습니다.

현장의 작업자는 주로 장갑을 끼거나 물건을 든 채 일을 하는 경우가 많고, 냉동 창고처럼 손으로 화면을 조작하기 어려운 환경도 있습니다. 이때 음성은 작업을 지속하며 AI에 작업 의도를 전달할 수 있는 유용한 수단이 됩니다.

물론 정밀한 설정과 조작은 화면이, 긴급 정지에는 물리 버튼이 더욱 적합할 수 있습니다. 다양한 피지컬 AI 인터페이스 구성은 사용자의 편의성뿐만 아니라, 작업의 효율을 위한 보완점이 될 것입니다.

사람의 음성이 로봇 작업으로 이어지려면

사람이 “이 팔레트 작업을 시작해줘”라고 말한다고 해서 로봇이 곧바로 움직일 수 있는 것은 아닙니다. 음성을 텍스트로 바꾸고 의미를 이해하는 것을 넘어, 현장에서는 그 명령이 무엇을 뜻하는지 해석하고 실행 가능 여부를 확인해야 합니다.

예를 들어 어떤 설비에 어떤 작업을 요청하는지, 현재 설비가 작업 가능한 상태인지, 작업자가 있는 구역과 충돌 위험은 없는지, 기존 물류관리·자동화 시스템과 어떤 순서로 연동할지를 판단해야 합니다. 결국 음성은 로봇을 움직이는 출발점이기에, 실제 실행까지는 현장의 운영 소프트웨어와 안전한 제어 체계가 뒷받침돼야 합니다.

이 지점에서 네오사피엔스와 씨메스로보틱스의 기술적 접점을 생각해볼 수 있습니다. 네오사피엔스는 사람의 음성을 자연스럽게 듣고, 그 안의 의도를 이해해 문제를 해결하는 Voice Agent를 발전시키고 있습니다. 씨메스로보틱스는 3D 비전과 AI를 기반으로 물체·공간·작업 상황을 인식하고, 로봇이 현장에서 작업을 수행할 수 있도록 하는 피지컬 AI 솔루션과 운용 기술을 개발합니다.

향후 이러한 기술이 연결된다면, 음성 AI는 현장 작업자의 요청을 이해하는 대화의 접점이 되고, 로봇 운용 시스템은 그 요청을 실제 작업 지시로 전환해 설비와 연동하는 실행의 접점이 될 수 있습니다. 중요한 것은 단순히 로봇에게 말을 거는 경험이 아니라, 사람이 더 쉽게 현장을 운영하면서도 안전성과 작업 품질을 함께 확보하는 것이니까요.

AI로 더 살기 좋은 세상을 위해

네오사피엔스는 음성 AI의 더 넓은 무대로 피지컬 AI를 바라보고 있습니다.

“지금은 음성 AI가 상담 현장에서 고객의 문제를 해결하고 있지만, 그 끝은 물리적인 현장이라고 생각합니다. 사람의 말을 이해하는 데서 그치지 않고 실제 행동으로 이어지는 것, 그 정점에 로보틱스가 있고 제가 가장 주목하고 있는 분야이기도 합니다.”
— 네오사피엔스 성현도 이사

자연스러운 대화형 AI와 작업 현장의 피지컬 AI 로봇 사이에는 아직 지나야 할 장벽이 있습니다. 산업 현장의 소음으로 인해 음성 전달이 불안정할 수 있고, 오작동으로 인한 안전 문제로 이어질 수 있기 때문입니다. 그렇기에 물리적인 조작보다 음성이 유용한 작업은 무엇인지, 어떻게 하면 음성 AI와 피지컬 AI를 정확하고 안전하게 연결할 수 있을지에 대한 논의가 더욱 중요합니다.

기술 발전의 끝에는 결국 사람이 있습니다. 네오사피엔스는 AI가 지루하고 반복적인 일을 맡아 사람이 역량을 마음껏 발휘할 수 있는 미래를 이야기합니다. 산업 현장의 자동화도 마찬가지입니다. 사람이 위험하고 고된 작업에서 벗어나 더 중요한 판단에 집중할 수 있을 때 기술의 발전이 더욱 빛날 것입니다.

사람이 산업 현장의 로봇을 더욱 쉽고 안전하게 다룰 수 있도록, 네오사피엔스의 음성 AI가 피지컬 AI의 인터페이스가 될 미래를 기대합니다.

🎙️ 고객의 문제를 해결하는 생성형 AI 네오사피엔스·네오나 에이전트
🤖 산업 현장의 문제를 해결하는 피지컬 AI 씨메스로보틱스