“AI, 채팅창을 벗어나 로봇의 두뇌가 되다” 라는 글을 나 교수와 같이 읽었습니다.

서론 부분을 복사해서 전달했습니다.

본문 내용을 섹션 별로 전달했습니다.

인간이 되고 싶은 로봇의 꿈: AI가 쓴 새로운 장

산업용 로봇, 협동 로봇, 이동형 로봇 등 다양한 로봇이 존재하지만, 이 글에서는 AI의 적용으로 가장 큰 혁신을 맞이하고 있는 휴머노이드 로봇에 초점을 맞춰 로봇 개발의 역사를 간략히 살펴보겠습니다.

1961년, 최초의 산업용 로봇 유니메이트(Unimate)가 GM 자동차 생산라인에 투입된 이후, 로봇 팔뿐 아니라 인간과 유사한 형태의 로봇, 즉 휴머노이드 개발을 위한 연구가 시작되었습니다. 1960년대부터는 안정적인 보행을 위한 이론적 연구가 활발히 진행되었는데, ZMP(Zero-Moment Point) 이론이 대표적입니다. ZMP는 로봇이 넘어지지 않고 균형을 유지하는 지점을 계산하는 수학적 모델로, 이를 통해 로봇의 안정적인 보행이 가능해졌습니다. 이러한 연구를 바탕으로 1970년대에는 일본 와세다대학에서 최초의 휴머노이드 로봇 WABOT-1이 탄생했습니다. (그림 1 참조)

1980년대 MIT Leg Lab.의 다양한 보행 로봇 실험과 1990년대 혼다의 P 시리즈(P1, P2, P3) 그리고 2005년 아시모(ASIMO) 발표는 휴머노이드 로봇 개발의 중요한 이정표였습니다. 특히 보스턴 다이내믹스(Boston Dynamics)는 안정적인 보행과 다양한 환경 적응력을 갖춘 4족 보행 로봇 빅독(Big Dog)과 뛰어난 동작 능력을 선보인 2족 보행 로봇 아틀라스(Atlas)를 통해 로봇 기술의 새로운 지평을 열었습니다.

그러나 과거의 로봇은, 뛰어난 기계적 성능에도 불구하고, 사람과의 상호작용이 부족하고 자율적인 업무 처리 능력이 제한적이었습니다. 2020년대에 들어 AI 기술의 급격한 발전은 이러한 한계를 극복하는 혁신을 가져왔습니다. AI는 로봇에게 눈과 두뇌를 제공하여, 자율적인 판단과 실행이 가능한 진정한 의미의 지능형 로봇을 만들었습니다. 테슬라의 옵티머스, Figure AI의 Figure 02, 그리고 보스턴 다이내믹스의 아틀라스 등이 대표적인 사례이며, 특히 중국의 눈부신 성장세는 로봇 산업의 경쟁을 더욱 치열하게 만들고 있습니다. (그림 2 참조)

결론적으로, 휴머노이드 로봇은 지난 수십 년간 꾸준한 발전을 거듭해 왔으며, AI의 융합은 로봇 기술에 새로운 시대를 열었습니다. 이제 로봇은 단순한 기계를 넘어 인간과 상호작용하고, 스스로 판단하며 행동하는 지능형 존재로 진화하고 있습니다. 앞으로 AI와 로봇 기술의 발전은 인간의 삶에 어떤 변화를 가져올지 기대와 함께 깊은 고찰이 필요한 시점입니다.

AI라는 날개를 달고 진화하는 로봇: 새로운 시대의 개막

고난도 동작으로 유명했던 보스턴 다이내믹스의 아틀라스(Atlas) 로봇은, 기계적 정교함에 집중한 나머지 실용성이 부족하다는 비판을 받아왔습니다. 하지만 2024년 4월, 보스턴 다이내믹스는 ‘The New Atlas’를 발표하며 이러한 한계를 극복하려는 의지를 보여주었습니다. (그림 3 참조) 특히, 기존 유압식 관절을 전기모터 구동 방식으로 전환하고, 저속-고토크 모터와 저감속비 기어박스를 결합한 준직접 구동(QDD) 방식을 채택하여 더욱 부드럽고 정교한 움직임을 구현했습니다. LiDAR와 스테레오 비전 센서를 통한 장애물 회피 및 실시간 지형 인식 기능도 추가되었습니다. 소프트웨어 측면에서는 토요타 연구소와의 협력을 통해 LBM(Large Behavior Model)을 개발하고 있으며, Vision AI 기반 환경 인식 데모 영상을 공개하며 (그림 4 참조) 기존 모델과의 완벽한 결별을 선언했습니다.

2024년 8월, Figure AI는 Figure 01보다 더욱 발전된 Figure 02 로봇을 공개했습니다. (그림 5 참조) 뛰어난 인재 영입과 대규모 투자 유치로 주목받는 Figure AI는 로봇 손에만 16개의 자유도를 구현했고, 배터리 성능과 연산 처리 능력을 크게 향상시켰습니다. OpenAI의 VLM(Vision Language Model)을 활용한 실시간 시각적 추론 시스템을 통해 자가 오류 수정 학습과 환경 적응형 작업 수행이 가능하며, 음성 대화 기능도 갖추고 있습니다. BMW 캘리포니아 공장에서 시험 배치되어 실제 산업 현장 적용 가능성을 검증 중이며, 1cm 이내의 정밀도로 판금 부품 조립 작업을 수행하는 모습을 보여주었습니다. NVIDIA Omniverse 플랫폼과 Isaac Sim을 활용하여 AI 모델 학습 시간을 단축한 점도 주목할 만합니다.

2024년 10월, 테슬라는 로보택시 공개 행사에서 개선된 옵티머스 로봇을 선보였습니다. (그림 6 참조) 바텐더 역할을 시연하며 음료를 따르고 참석자들과 대화하는 모습을 보여주었지만, 원격 조종 논란에도 불구하고 인간과 유사한 수준의 정교한 움직임을 선보인 것은 엄청난 발전입니다. 테슬라 FSD 칩을 기반으로 28개의 전기모터를 사용하며, 완전 학습된 신경망 기반의 시각 내비게이션 시스템을 통해 새로운 환경 탐색과 장애물 회피가 가능합니다. 여러 옵티머스 로봇이 공간 인식 정보를 상호 공유할 수 있는 기능도 갖추고 있다고 합니다.

아직까지 각 기업의 발표 내용에 과장된 측면이 있고, 실제 산업 현장에서의 완벽한 검증은 더 필요하지만, AI 기술과의 융합으로 로봇 산업은 눈부신 속도로 발전하고 있습니다. 이러한 추세를 볼 때, AI 기반 로봇의 실생활 등장은 시간문제일 뿐입니다.

3분 안에 맛보는 AI Robotics 기반 기술: 인지, 판단, 행동의 조화

AI는 로봇과 불가분의 관계입니다. “인지와 행동의 지능적 연결”이라는 Robotics의 새로운 정의가 등장할 정도로, AI는 로봇의 핵심 기술이 되었습니다. [9] 하지만 과거에는 주로 rule-based 시스템 기반의, 정형화된 환경에서 반복 작업을 수행하는 로봇이 주류였습니다. 최근 대규모 Foundation Model의 등장으로 비로소 진정한 의미의 AI 로봇이 가능해졌습니다.

로봇 제어는 크게 세 가지 단계로 나눌 수 있습니다:

1. 인지(Perception): 환경을 인식하고 이해하는 단계. Vision AI 기술과 밀접하게 관련되어 있으며, 카메라, LiDAR 등을 통해 얻은 시각 정보를 처리하여 주변 환경을 이해합니다.
2. 판단(Planning): 수집된 정보를 바탕으로 행동을 계획하는 단계. 최근에는 LLM 기반의 접근 방식이 많이 사용되며, 복잡한 상황을 이해하고 최적의 행동을 결정합니다.
3. 행동(Action): 계획된 동작을 실제로 실행하는 단계. 강화 학습(Reinforcement Learning)을 통해 로봇의 움직임을 제어하고, 더욱 자연스럽고 효율적인 동작을 수행하도록 학습시킵니다.

최근에는 인지, 판단, 행동 단계를 통합적으로 처리하는 Robot Foundation Model이 Google DeepMind, Covariant 등에서 연구되고 있습니다. (그림 7 참조) 이는 Vision과 Language를 하나의 모델로 통합하여, 더욱 지능적인 로봇 제어를 가능하게 합니다.

(그림 7)은 AI Robotics의 최신 기술 트렌드를 요약한 것입니다. 본 글에서는 모든 기술을 다루지는 않지만, 각 단계별 주요 기술들을 간략하게 소개하여 AI Robotics의 최신 동향을 3분 만에 파악할 수 있도록 합니다. (그림 7에 대한 자세한 설명은 생략하고, 그림의 내용을 이해하기 쉽게 요약 설명하는 것이 좋습니다. 예를 들어, 각 기술 영역에 해당하는 대표적인 알고리즘이나 기술을 간략히 언급하는 방식입니다.) 이러한 기술 발전을 통해 AI 로봇은 더욱 지능적이고 자율적으로 작동하며, 산업 현장뿐 아니라 우리 생활 곳곳에서 활용될 것으로 예상됩니다.

Perception: 로봇의 눈과 두뇌를 연결하다

로봇에게 가장 중요한 AI 기술은 단연 인지(Perception)입니다. 주변 환경을 정확하게 파악해야만 로봇은 판단하고 행동할 수 있습니다. 물체의 위치, 종류, 자세 등을 인식하는 것은 로봇의 자율성을 위한 필수적인 요소입니다. 특히 Bin Picking과 같이 비정형 환경에서 임의의 물체를 다루는 작업은 고도의 인지 능력을 요구합니다. 이를 위해 Vision AI 기술이 필수적이며, 최근에는 Vision Language Foundation Model을 활용하여 학습되지 않은 새로운 물체도 인식하는 Open Vocabulary 기반 인지 기술이 발전하고 있습니다.

Meta에서 발표한 SAM(Segment Anything Model)은 다양한 객체를 자동으로 식별하고 분할하는 범용 모델입니다. (그림 7 좌측 참조) 방대한 이미지 데이터로 학습된 SAM은 Vision Transformer(ViT) 기반의 이미지 인코더를 사용하여 클릭이나 영역 지정만으로도 물체를 정확하게 구분합니다. 이러한 편리성과 범용성으로 인해 사진 편집, 의료 이미지 분석, 자율 주행, 로봇 비전 등 다양한 분야에 활용되고 있습니다.

MIT의 F3RM(Feature Fields for Robotic Manipulation)은 Neural Radiance Fields(NeRF) 기반으로 2D 이미지에서 3D 특징을 추출하여 실제 공간에 매핑하는 기술입니다. (그림 7 우측 참조) 이를 통해 로봇은 새로운 물체나 3D 환경을 이해하고 동적인 상황에도 효과적으로 대응할 수 있습니다.

SAM과 F3RM은 로봇의 인지 능력을 한층 향상시키는 대표적인 기술입니다. 앞으로 더욱 발전된 인지 기술은 로봇의 자율성과 실용성을 크게 높일 것으로 기대됩니다. 정확하고 빠른 환경 인식은 로봇이 복잡한 작업을 수행하는 데 필수적이며, 다양한 산업 분야에서 로봇 활용의 폭을 넓힐 것입니다.

Planning: 자연어로 명령하고, 지능적으로 계획하다

Perception을 통해 환경을 인식했다면, 다음 단계는 적절한 계획(Planning)입니다. 최근 ChatGPT의 성공으로 LLM을 로봇 계획에 적용하려는 시도가 활발합니다. 복잡한 로봇 작업을 자연어로 정의하고, LLM이 이를 이해하여 실행 가능한 하위 작업으로 분해하는 연구가 주목받고 있습니다.

Google의 SayCan은 사용자의 자연어 명령을 이해하고, 실행 가능한 하위 작업으로 분해하여 우선순위를 정하는 모델입니다. (그림 8 참조) 언어 모델과 강화 학습을 결합하여 현실 세계에서 최적의 행동을 선택합니다.

ProgPrompt는 SayCan을 개선하여 더욱 정교한 작업 계획과 Task Sequencing, Vision-Language Alignment 기술을 적용했습니다. 복합적인 명령도 세부 작업으로 분할하여 처리하고, 예기치 못한 상황에도 동적으로 계획을 수정합니다. 예를 들어, 물건을 놓쳤을 때 다시 집어오는 등의 상황 대처 능력을 갖추었습니다.

Google의 Code as Policies는 고수준 작업 지시를 실행 가능한 프로그램 코드로 변환하여 직접 실행하는 모델입니다. Few-shot learning 기법을 활용하여 LLM이 작업 맥락을 이해하고 적절한 코드를 생성합니다.

이동 로봇 분야에서는 VLM(Vision Language Model)을 활용한 멀티모달 기술이 새로운 가능성을 열었습니다. 특히 CLIP-Fields는 CLIP 모델을 기반으로 ‘주방’, ‘거실’과 같은 공간의 의미를 이해하고, 의미 기반의 이동 명령을 수행합니다. (그림 9 참조) ‘커피머신과 싱크대 사이로 가 줘’와 같은 자연스러운 명령을 이해하고 실행할 수 있습니다.

이러한 LLM 기반의 Planning 기술들은 로봇 제어의 복잡성을 줄이고, 사용자와의 상호작용을 개선하며, 더욱 지능적이고 자율적인 로봇 시스템을 구축하는 데 기여할 것입니다.

저스틴 메모) 하드웨어가 없는 로봇? RPA에서 좀 더 쉽게 적용될 수 있습니다. AIPilotSmarteasy에서는 이 내용과 매우 비슷하게 ReAct로 ‘단계별 목표 달성을 해 나가는’ Plan Navigator와 Stepwise Navigator 기능을 제공합니다. 이 기능 초기 개발에는 마이크로 소프트 주도하에 개발되고 있는 오픈소스인 시맨틱 커널을 많이 참조했습니다.