ACE ROBOTICS, 세계 최초 전 주거공간 3D 인터랙티브 월드 모델 ‘Kairos-HomeWorld’ 출시

최근 ACE ROBOTICS는 홍콩중문대학교 멀티미디어 연구소, 선전 허타오학원과 공동으로 최신 월드 모델 연구 성과인 Kairos-HomeWorld를 발표했다. 이는 전 주거공간 생성과 개별 객체의 완전한 상호작용을 구현한 세계 최초의 월드 모델 통합 프레임워크다.

해당 기술은 기존 실내 장면 생성 기술이 단일 방 수준에 머물고, 전체 공간의 일관성과 조작 가능성이 부족했던 업계의 한계를 돌파했다. Kairos-HomeWorld는 구조적으로 일관되고 물리적으로 합리적이며 기능적으로 완성도 높은 전 주거공간 3D 장면을 원클릭으로 생성할 수 있다. 이를 통해 구현 인공지능과 로봇 훈련을 위한 대규모·고정밀 중국 가정 환경 기반의 인터랙티브 실훈련장을 제공한다.

구현 지능의 궁극적인 목표는 로봇이 실제 가정에 들어가 사람들의 일상 속에서 작동하는 것이다. 그러나 가정 환경은 매우 복잡하고 개인화되어 있어 로봇은 방대한 양의 서로 다른 실제 생활 공간에서 훈련되어야 한다. 이를 위해 연구팀은 세계 최대 규모이자 중국 가정을 위해 특화된 최초의 전 주거공간 3D 데이터셋도 함께 오픈소스로 공개했다.

해당 데이터셋은 중국 실제 주택 평면도 30만 세트와 상호작용 가능한 가구 및 객체를 포함한 완전한 시뮬레이션 장면 5,000개로 구성되어 있다. 또한 중국 전역의 다양한 대표 주거 유형을 포괄하며 중국 현지 가정의 생활 특성을 충실히 재현한다. 이는 구현 인공지능의 중국 내 상용화와 현장 적용을 위한 핵심 데이터 및 기술 기반을 제공한다.

앞서 북미 로봇 선도 기업 Figure AI는 세계 최대 부동산 보유 기업 중 하나인 Brookfield와 전략적 협력을 체결하고 Brookfield가 보유한 10만 세대 이상의 주거 유닛을 기반으로 로봇의 내비게이션, 상호작용, 가사 수행 훈련을 진행하고 있다. 이는 Kairos-HomeWorld가 중국 현지 로봇 훈련을 지원하는 방향성과 글로벌 차원에서 맞닿아 있다.

이와 비교해 Kairos-HomeWorld는 가정용 로봇 훈련 측면에서 비용은 낮고 효율은 높다는 장점을 갖는다. 모델을 기반으로 다양한 중국 가정 시뮬레이션 장면과 물리적 상호작용 속성을 갖춘 객체를 대량 생성할 수 있기 때문이다. 로봇은 가상 환경에서 각종 가사 작업 훈련을 수행할 수 있으며 새로운 장면을 추가하는 데 드는 한계 비용은 거의 제로에 가깝다. 또한 실제 공간 운영, 가구 손상 등 오프라인 실환경 훈련에 수반되는 비용을 줄일 수 있다. 동시에 현실 주거 공간 수량의 제약을 받지 않아 훈련 효율성과 규모 확장성 측면에서 실지 수집 방식보다 우수하다.

현재 Kairos-HomeWorld는 ACE ROBOTICS의 구현 지능 일상 훈련에 성공적으로 적용되고 있다. 해당 기술은 로봇이 방을 넘나드는 이동, 여러 공간의 물품 정리 등 복잡하고 장거리 수행이 필요한 가사 업무를 전 과정에서 시뮬레이션 훈련할 수 있도록 지원한다. 이를 통해 가상 시뮬레이션에서 실제 환경 적용으로 이어지는 전이 주기를 크게 단축하고, 구현 지능 연구개발의 진입 장벽을 낮추며, 중국 시장에서 로봇의 대규모 보급을 가속화하고 있다.

전 주거공간 3D 생성과 객체 단위 상호작용 최초 구현…업계 시뮬레이션 데이터의 한계 돌파

Kairos-HomeWorld는 4단계 계층형 생성 아키텍처를 기반으로 한다. 해당 아키텍처는 전체 구조 생성, 세부 공간 디테일 구현, 폐쇄 루프 검증, 상호작용 강화로 구성되어 있으며 이를 통해 단일 문장 입력만으로도 전체 구조의 일관성, 물리적 합리성, 객체 상호작용성을 모두 갖춘 완전한 주거공간 3D 장면을 엔드투엔드 방식으로 생성할 수 있다.

이는 실내 장면 생성 기술이 단순한 공간 이미지나 단일 방 생성에 머물던 기존 한계를 넘어 실제 로봇 훈련에 활용 가능한 인터랙티브 주거 환경을 구현했다는 점에서 의미가 크다. Kairos-HomeWorld는 이를 통해 실내 장면 생성의 기술 패러다임을 근본적으로 재구성하고 있다.

해당 아키텍처는 복잡한 전 주거공간 단위의 생성 작업을 네 단계로 분리해 처리함으로써 기존 방식이 지닌 낮은 전체 구조 일관성, 빈번한 물리적 오류, 장면 상호작용성 부족 등의 문제를 효과적으로 해결했다.

프레임워크의 첫 번째 단계에서는 업계 최초로 K-D 트리 기반 평면도 구조화 표현 방식을 도입했다. 이를 통해 실제 주택 평면도를 대규모 언어 모델이 효율적으로 학습할 수 있는 계층형 텍스트 구조로 전환하고 기존 주거 평면 생성 방식에서 자주 발생하던 방 간 중첩, 위상 구조 단절 등의 문제를 방지한다.

두 번째 단계에서는 ‘조감도 기반 글로벌 초기화+1인칭 시점 세부 공간 탐색’의 계층형 전략을 적용한다. 1단계에서 생성된 3D 건축 외피를 전체 생성 과정의 기준점으로 삼아 기존 2D-3D 변환 방식에서 흔히 발생하던 기하학적 드리프트 문제를 해결했다.

세 번째 단계에서는 시각언어모델을 미세조정해 재귀형 폐쇄 루프 검증 메커니즘을 구축했다. 이를 통해 ‘소파가 문을 막는 경우’, ‘물체가 벽을 관통하는 경우’ 등 물리적으로 부적합한 배치를 자동으로 감지하고 수정하며 가구 배치 충돌률을 업계 최고 수준으로 제어한다.

객체 단위의 완전한 상호작용 측면에서 Kairos-HomeWorld는 전 주거공간 내 조작 가능한 객체 생성을 구현한 세계 최초의 통합 프레임워크다. 이러한 핵심 능력은 아키텍처 네 번째 단계인 표면 중심 객체 배치 알고리즘을 통해 구현된다. 시스템은 객체의 재질, 밀도, 관절 구조 등의 정보를 자동으로 확보하며 최종 생성되는 각 장면에는 평균 15개 이상의 조작 가능한 객체가 포함된다. 또한 가구 표면 위 객체의 밀집도와 기능적 풍부함을 측정하는 풋프린트 객체 밀도는 4.16에 달한다. 모든 객체는 시뮬레이션 엔진으로 직접 가져와 잡기, 이동, 쌓기 등의 상호작용 작업에 활용할 수 있다.

해당 프레임워크는 방 간 동선 혼란과 기능적 인접성 부족으로 대표되는 전체 구조 일관성 문제를 정밀하게 해결했다. 또한 생성된 장면이 ‘볼 수만 있고 사용할 수는 없는’ 기존 한계를 넘어 가상 환경이 실제로 로봇의 내비게이션, 조작, 과제 수행을 지원할 수 있도록 했다. 나아가 3D 시뮬레이션 데이터 부족이라는 병목을 해소하고 합성 데이터는 현실감이 떨어지고 스캔 데이터는 상호작용이 어렵다는 기존 모순을 해결했다. 이번에 함께 오픈소스로 공개된 대규모 데이터셋은 구현 인공지능의 산업화와 현장 적용을 한층 가속화할 것으로 기대된다.

세계 최초 중국 가정 특화 전 주거공간 3D 데이터셋 공개

ACE ROBOTICS는 홍콩중문대학교 멀티미디어 연구소와 공동으로 중국 가정 주거 환경에 특화된 최초의 전 주거공간 3D 데이터셋을 공개했다. 해당 데이터셋은 세계 최대 규모를 자랑하며, 구조화 주석이 적용된 실제 주택 평면도 30만 장, 완전한 실내 레이아웃과 가구 배치를 갖춘 전 주거공간 시뮬레이션 장면 5,000개, 물리 시뮬레이션과 상호작용 조작을 지원하는 객체 에셋 5만 개로 구성되어 있다.

이번 데이터셋은 대규모·고정밀이면서 중국 현지 주거 습관에 부합하는 실내 장면 데이터가 부족했던 업계의 공백을 근본적으로 해소했다는 점에서 의미가 크다. 또한 중국 가정 서비스 로봇의 현지화 훈련을 위한 핵심 데이터 기반을 제공한다.

규모 측면에서 해당 데이터셋은 기존 수준을 뛰어넘는 양적 도약을 이뤘다. 30만 장의 실제 주택 평면도는 모두 중국 시장의 실제 매물에서 확보한 것으로 다단계 자동화 처리 과정을 거쳐 벡터화와 구조화 주석 작업이 완료됐다. 해당 데이터에는 문과 창문의 위치, 방의 기하 구조, 기능별 공간 구분, 공간 간 연결 관계 등 전방위 정보가 포함되어 있다. 이는 현재 글로벌 최대 규모의 실제 주택 평면도 데이터셋으로 기존에 널리 사용되던 RPLAN 데이터셋이 8만 장, ResPlan 데이터셋이 1만 7,000장 수준인 것과 비교해 압도적인 규모를 갖췄다.

이를 기반으로 학습·생성된 가구 및 객체 포함 전 주거공간 시뮬레이션 장면은 각 주택마다 완전한 가구 배치를 갖추고 있다. 또한 PhysX-Omni 모델을 활용해 평균 15개 이상의 물리 속성 기반 상호작용 가능 객체를 자동 생성한다. 해당 객체들은 밀도, 관절 구조, 매니폴드 등 물리적 특성을 포함하며 모두 시뮬레이션 엔진에 직접 가져와 상호작용형 훈련에 활용할 수 있다.

（그림 주석: 글로벌 실내 장면 리소스 비교표. 각 기호와 용어의 의미는 다음과 같다. **Rec.**는 재구성 기반의 실제 세계 데이터셋을 의미하며, **S./H.**는 각각 가구가 배치된 장면 수와 주택 수를 의미한다. 여기서 장면은 단일 공간, 일반적으로 방 단위의 독립 영역을 가리키며, 주택은 여러 방을 포함한 하나의 완전한 주거 공간을 뜻한다. Sim-ready는 시뮬레이션 준비도를 의미하며, 데이터셋이 시뮬레이션 또는 렌더링 엔진에서 직접 인스턴스화될 수 있고, 객체 단위 상호작용을 지원하는 완전한 3D 장면을 제공하는지 여부를 평가하는 지표다. MObj.는 관련 데이터가 공개된 경우 단일 장면당 평균 조작 가능 객체 수를 나타낸다. n/r은 관련 데이터가 보고되지 않았음을 의미하며, –는 해당 항목이 적용되지 않음을 뜻한다. Collection은 여러 데이터 소스를 통합해 구성한 집합형 데이터셋을 의미한다.）

더욱 큰 산업적 가치는 이 데이터셋이 중국 가정에 특화된 속성을 갖추고 있다는 점이다. 기존 글로벌 주요 오픈소스 실내 장면 데이터셋은 대부분 유럽과 미국의 주거 습관을 기반으로 구축되어 왔다. 이로 인해 방 배치와 인테리어가 서구식에 치우쳐 있거나, 오픈형 주방 구조가 많고, 발코니와 같은 기능 공간이 부족한 문제가 일반적으로 존재했다. 이러한 데이터로 학습한 로봇은 실제 중국 가정에 투입될 때 현지 주거 환경에 제대로 적응하지 못하는 한계를 보였다.

Kairos-HomeWorld 데이터셋은 중국 전역의 다양한 도시와 면적대별 대표 주거 유형을 폭넓게 포괄한다. 30㎡ 규모의 1인 가구용 소형 주택부터 200㎡ 이상의 고급 대형 주택까지 포함하며, 중국 가정 특유의 남북 통풍형 구조, 폐쇄형 주방, 독립 생활 발코니, 건식·습식 분리형 욕실, 현관 신발장 등 현지 주거 특성을 충실히 재현했다. 또한 노후 아파트 단지에서 흔히 볼 수 있는 비정형 주방, 불규칙한 거실 구조 등 복잡한 실제 주거 유형도 포함하고 있다.

이번 데이터셋은 학계와 산업계를 대상으로 전면 오픈소스로 공개될 예정이다. 연구팀은 향후 버전에서 지역별·인테리어 스타일별 장면 샘플을 지속적으로 확충하고 중국 가정에 특화된 더 많은 물품과 상호작용 시나리오를 추가할 계획이다. 이를 통해 구현 AI의 현지화 훈련 장벽을 더욱 낮추고 서비스 로봇이 중국 가정에 대규모로 보급되는 과정을 가속화할 것으로 기대된다.

중국 가정 시뮬레이션 장면 원클릭 생성 몰입형 시연…로봇 훈련 가속화

Kairos-HomeWorld는 이미 ACE ROBOTICS의 구현 지능 일상 훈련에 성공적으로 적용되고 있다. 이번 영상은 Kairos-HomeWorld가 텍스트 명령에서 상호작용 가능한 주거 구조를 생성하기까지의 전체 과정을 완전하게 보여준다. 이를 통해 ‘원클릭 생성, 전체 구조 일관성, 물리적 합리성’이라는 Kairos-HomeWorld의 핵심 역량을 직관적으로 확인할 수 있다.

영상에서는 “90㎡ 규모의 신중식 스타일 방 2개·거실 1개 주택을 생성해줘”라는 텍스트 프롬프트만 입력하면 모델이 먼저 중국 실제 주거 평면도 데이터와 K-D 트리 구조화 표현을 기반으로 현지 주거 습관에 부합하는 빈 공간 구조를 빠르게 생성한다. 이를 통해 남북 통풍형 구조와 합리적인 기능 구역 배치를 갖춘 중국의 대표적인 주거 유형을 정밀하게 재현한다.

이후 ‘조감도 기반 글로벌 레이아웃+1인칭 시점 세부 요소 채우기’라는 계층형 전략을 통해 통일된 스타일의 가구 배치를 자동으로 생성한다. 이어 PhysX-Omni 모델을 활용해 테이블, 조리대 등 표면 위에 완전한 물리 속성을 갖춘 상호작용 가능 객체 에셋을 생성한다. 여기에는 관절 구조, 밀도, 매니폴드 등 물리적 특성이 포함된다.

사용자가 자연어로 “집 전체 물품 정리”와 같은 복잡한 명령을 내리면, 로봇은 이를 여러 개의 정밀한 하위 작업으로 자동 분해한다. 이후 ‘거실→발코니→주방→안방→식당→작은방’으로 이어지는 전체 주거공간 동선을 따라 순차적으로 작업을 수행한다.

대규모 중국 가정 시뮬레이션 환경에서 훈련된 로봇은 다양한 물품을 인식하고, 최적의 이동 경로를 계획하며, 정밀한 집기와 배치를 수행할 수 있다. 여기에는 냉장고와 수납장 문을 여닫는 관절형 객체 상호작용, 세제를 따르는 유체 상호작용, 커튼을 여닫는 유연 물체 상호작용, 사과를 집는 비정형 객체 상호작용, 간식을 놓는 과정에서의 중력 속성 기반 상호작용 등이 포함된다.

기존의 단순 내비게이션 훈련 중심 시뮬레이션 환경과 비교해 Kairos-HomeWorld가 생성하는 장면은 전체 공간 구조의 일관성을 갖추고 있어 로봇의 방 간 연속 이동을 지원한다. 또한 모든 객체가 실제와 유사한 물리 속성을 갖추고 있어 로봇은 15종 이상의 다양한 물품과 자연스럽게 상호작용할 수 있다. 이를 통해 충돌, 중력, 마찰 등 현실 세계의 물리 효과를 가상 환경에서 시뮬레이션하고 복잡한 가사 업무의 전 과정을 가상 세계에서 훈련할 수 있다. 결과적으로 시뮬레이션에서 실제 환경으로 이어지는 전이 주기를 크게 단축할 수 있다.

프로젝트 홈페이지:
https://kairos-homeworld.github.io/