https://ai.googleblog.com/2022/06/scanned-objects-by-google-research.html?m=1
현실의 로봇 데이터 컬렉션은 매우 유용하나 확장 및 라벨링이 어렵습니다.
Gazebo, MuJoCo 및 Unity와 같은 도구를 사용하여 로봇 및 환경을 시뮬레이션 하면 이러한 데이터세트에 내재된 많은 제한을 완화할 수 있습니다. 그러나 시뮬레이션은 현실의 근사치일 뿐입니다. 폴리곤과 프리미티브를 이용하여 손으로 만든 모델은 종종 실제 존재하는 물체와 완전히 일치하지 않습니다.
구글의 로보틱스 연구원들은 2011년부터 물체를 스캔하기 시작했고, 로봇이 주변 환경의 사물을 인식하고 파악할 수 있도록 돕는 일반적인 가정의 물체들의 고화질 3D 모델을 만들어왔습니다.
하지만 이제 3D 모델들은 물체 인식과 로봇의 잡는 행위외에도 물리 시뮬레이션의 씬 제작이나 엔드 유저 어플리케이션의 3D 오브젝트 시각화에도 유용하다는 것이 분명해졌습니다. 따라서 이 Scanned Objects 프로젝트는 Google에서 대규모 3D 경험을 제공하기 위해 확장되었으며 기존의 상업용 제품 사진보다 더 효율적이고 경제적인 프로세스를 통해 가정용 물체의 많은 3D 스캔을 수집합니다.
스캔에 사용된 실제 물체들
이러한 개체 모델은 트레이닝을 위해 모델을 사용하였을때 시뮬레이션과 실제 간의 격차를 해소하는 Everyday Robots의 3D 시각화에 유용한 것으로 입증되었으며, 나중에 RetinaGAN 및 RL-CycleGAN으로 출판되었습니다. 이러한 초기 3D 스캐닝 노력을 바탕으로 2019년에 스캔된 개체 데이터 세트의 외부 버전을 준비하고 이전 3D 이미지 세트를 파악 가능한 3D 모델로 변환하기 시작했습니다.
3D 모델을 캡쳐하기위해 사용된 장비들
스캔중인 신발. 다양한 빛과 색상들의 패턴으로 여러 방향에서 캡쳐됩니다.
시뮬레이션 모델 변환
초기 내부 스캔 모델은 프로토콜 버퍼 메타데이터, 고해상도 영상 및 시뮬레이션에 적합하지 않은 형식을 사용했습니다. 일부 물체의 경우 스캔 시 물체의 무게를 측정하여 질량과 같은 물리적 특성을 포착했지만 마찰이나 변형과 같은 표면 특성은 나타내지 않았습니다.
따라서 데이터 수집 후 이러한 문제를 해결하고 시뮬레이션 시스템에서 스캔된 모델을 사용할 수 있도록 자동화된 파이프라인을 구축했습니다. 자동화된 파이프라인은 유효하지 않거나 중복된 개체를 걸러내고, 개체에 대한 텍스트 설명을 사용하여 개체 이름을 자동으로 할당하고, 시뮬레이션 요구 사항을 충족하지 않는 개체 메쉬 스캔을 제거합니다. 다음으로 파이프라인은 모양과 체적에서 시뮬레이션 속성(예: 질량 및 관성 모멘트)을 추정하고 충돌 체적을 구성하며 모델을 사용 가능한 크기로 축소합니다. 마지막으로 파이프라인은 각 모델을 SDF 형식으로 변환하고 썸네일 이미지를 만들고 시뮬레이션 시스템에서 사용할 모델을 패키징합니다.
Blender에서 렌더링된 스캔된 물체 모델 모음.
이 파이프라인의 출력물은 오픈소스 호스팅인 Open Robotics의 Gazebo의 공개 인터페이스와 호환되며 검색 가능한 메타데이터와 함께 이름, 질량, 마찰, 관성 및 충돌 정보가 포함된 적절한 형식의 시뮬레이션 모델입니다.
https://app.gazebosim.org/fuel/models
https://app.gazebosim.org/GoogleResearch/fuel/collections/Scanned%20Objects%20by%20Google%20Research
출력 개체는 모델 당 평균 1.4Mb의 Wavefront OBJ 메시 를 참조하는 SDF 모델로 표시됩니다 . 이 모델의 텍스처는 PNG 형식이며 평균 11.2Mb입니다. 또한 고해상도의 모양과 질감을 제공합니다.
스캔된 개체 데이터 세트에는 CC-BY 4.0 라이선스에 따라 사용이 허가되며 총 13Gb의 1030개의 스캔 개체 및 관련 메타데이터가 포함되어 있습니다. 이러한 모델은 손으로 모델링하지 않고 스캔을 이용하였기 때문에 이상적인 재현이 아닌 실제 객체 속성을 사실적으로 반영하여 시뮬레이션에서 실제 세계로 학습을 이전하는 어려움을 줄입니다.
