“의자 하나 만들어줘.”
이 한 문장만으로 실제 가구를 설계하고 조립하는 로봇 시스템이 등장했다. 복잡한 CAD 설계나 전문 공학 지식 없이도, 말로 설명하면 로봇이 실물 오브젝트를 완성하는 이른바 ‘물리적 AI’ 기술이 현실 단계에 들어섰다.

자연어만으로 설계부터 조립까지, CAD 없는 3D 생성형 AI 로봇 시스템 공개

미국 매사추세츠공과대학교(MIT) 연구진은 사용자의 자연어 설명을 기반으로 3차원 구조를 설계하고, 로봇이 직접 부품을 조립해 완성품을 만드는 AI 기반 로봇 조립 프레임워크를 공개했다. 해당 시스템은 생성형 AI와 로보틱스를 결합해 비전문가도 손쉽게 물리적 사물을 제작할 수 있도록 설계됐다.

기존 컴퓨터 지원 설계(CAD) 방식은 높은 숙련도와 세밀한 설정을 요구해 초기 아이디어 구현이나 신속한 시제품 제작에 한계가 있었다. 연구진은 이러한 진입 장벽을 낮추기 위해 자연어 중심의 설계 방식을 도입했다.

이 시스템에는 두 개의 생성형 AI 모델이 사용된다. 첫 번째 모델은 사용자가 입력한 텍스트를 바탕으로 전체 물체의 3D 형상을 생성한다. 두 번째 모델은 해당 구조의 기능과 형태를 분석해 각 부품이 배치될 위치와 역할을 추론한다.

예를 들어 “의자를 만들어 달라”는 요청이 입력되면, AI는 좌판과 등받이, 지지 구조 등 의자의 기본 구성 요소를 인식한다. 이후 사람이 앉고 기대는 기능을 고려해 어느 부분에 패널이 필요한지를 판단하고, 구조적 안정성을 유지하도록 설계를 완성한다.

비전-언어 모델이 눈과 두뇌 역할 수행… 인간과 AI의 협업 설계 본격화

핵심 기술은 비전-언어 모델(VLM)이다. VLM은 이미지와 텍스트를 동시에 이해하며, 사전에 학습한 다양한 사물 사례를 기반으로 구조 부품과 패널 부품의 결합 방식을 추론한다. 이 모델은 의자의 좌석과 등받이에 패널이 필요하다는 점을 인식하고, 이를 텍스트 라벨 형태로 출력한다. 이후 각 표면에 번호를 부여해 다시 모델에 입력하면, AI가 패널이 부착될 정확한 위치를 최종 결정한다.

논문의 제1저자인 MIT 전기전자공학·컴퓨터과학 및 건축학과 대학원생 알렉스 키아우는 “비전-언어 모델은 로봇의 눈이자 두뇌로 작동하며, 기하학적 구조를 이해하고 그에 기반해 기능적 결정을 내린다”고 설명했다.

이 시스템의 또 다른 특징은 ‘휴먼 인 더 루프’ 구조다. 사용자는 설계 과정에 지속적으로 개입할 수 있으며, “좌석에는 패널을 사용하지 말고 등받이에만 적용하라”와 같은 추가 지시를 통해 결과물을 즉각 수정할 수 있다. 인간의 의도가 실시간으로 설계에 반영되는 협업형 AI 구조다.

설계가 완료되면 로봇 조립 시스템이 사전 제작된 구조 부품과 패널을 활용해 실제 물체를 조립한다. 연구진은 이 방식으로 의자와 선반 등 다양한 가구를 제작했으며, 모든 부품은 분해와 재조립이 가능하도록 설계돼 제조 과정에서 발생하는 폐기물을 줄일 수 있다.

사용자 평가 결과도 긍정적이다. 연구진이 진행한 사용자 연구에서 응답자의 90% 이상이 기존 방식보다 AI 기반 설계 결과물을 선호한 것으로 나타났다.

연구팀은 이 기술이 가구 제작을 넘어 항공우주 부품, 건축 구조물, 맞춤형 산업 설계 등 복잡한 물리적 객체의 신속한 프로토타이핑에 활용될 수 있을 것으로 보고 있다. 장기적으로는 가정 환경에서 사람이 로봇과 대화하며 필요한 물건을 직접 제작하는 시대가 열릴 가능성도 제시했다.

가구를 넘어 항공·건축까지 확장 가능한 차세대 로봇 제조 프레임워크

MIT 컴퓨터과학·인공지능연구소(CSAIL)의 랜들 데이비스 교수는 “생성형 AI와 로보틱스를 결합해 아이디어를 빠르고 접근 가능하며 지속 가능한 방식으로 실물로 구현할 수 있음을 보여줬다”며 “설계 도구에 대한 접근 장벽을 획기적으로 낮추는 것이 목표”라고 밝혔다.

이번 연구에는 MIT 연구진 외에도 구글 딥마인드와 오토데스크 리서치가 참여했다. 연구 성과는 2025년 12월 2일부터 7일까지 미국 샌디에이고에서 열린 인공지능 분야 최고 권위 학회인 뉴립스(NeurIPS 2025)에서 ‘3D 생성형 AI와 비전-언어 모델을 활용한 다중 부품 로봇 조립’이라는 주제로 발표됐다.

자연어 기반 설계와 로봇 조립의 결합은 전문 지식 없이도 물리적 제작을 가능하게 한다. 이는 제조·설계 산업 전반의 접근성을 높이고, 신속한 시제품 제작과 친환경 생산 방식 확산에 기여할 것으로 기대된다.

MIT 연구진이 제시한 물리적 AI 프레임워크는 말로 설명하면 로봇이 구현하는 새로운 제조 패러다임을 보여준다. 인간과 AI의 협업을 전제로 한 이 기술은 설계 민주화의 전환점이 될 가능성을 갖고 있다.