https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/

일부만 발췌해옵니다.

RL의 연구 책임자 Sean Keller는 AR 및 VR에서 손의 가치는 엄청나다고 말합니다. 손을 통해 상호작용 하는것이 굉장히 중요합니다.

초기단계 프로토타입.

햅틱 장갑에 수백개의 액추에이터를 달아서 만들었습니다.

단점으로는 하루종일 사용하기에는 너무 발열량이 많고 현실감 있는 촉각을 구현하기에는 너무 크고 단단하며 비싸고 전력의 소모가 큽니다.

결국 금속 전기 부품의 한계에 부딪혔습니다. 액추에이터의 재질을 변경하여 해결하는 방향으로 선회하였고 지난 2년간 기압을 이용하여 힘을 만드는 공압식 액추에이터와 전기장을 이용하여 모양이나 크기를 변화시키는 전기 활성식 액추에이터를 연구해왔고 획기적인 발전을 이루고 있습니다.

이제 물리적인 구현방법이 아닌 소프트웨어적인 햅틱 렌더링이 필요합니다.

일반적인 렌더링은 시각적인 것과 관련되어 사용되지만, 여기서는 햅틱에 대해서도 렌더링이라는 단어를 사용합니다.

가상현실의 상태 또는 상호작용을 액추에이터에 렌더링하여 해당하는 감각을 느끼게 하는 것입니다.

물리엔진에 의해 가상 물체와 상호 작용하면서 손에 가해져야하는 힘의 방향, 크기 및 위치를 계산하고 햅틱 렌더링 알고리즘이 햅틱 장치의 특성에 맞춰 장치에 올바른 명령을 보냅니다.

이 팀의 연구과제에 세번째 과제가 나타납니다.

근본적으로 촉각 물리학을 모델링 하는데에는 질감과 감각을 현실과 비슷하게 만들어야 합니다. 하지만 완전하게 재현할 수는 없었습니다. 예를 들어서 가상 물체를 잡으려고 할때 물체를 무시하고 손가락이 닫힌 원을 만들거나 표면에 올려놓을때 손이 가상 테이블을 통과하는 것을 막을 수는 없었습니다.

결국 팀은 지각 과학과 감각 통합으로 방향을 선회하였습니다. 즉, 인간의 감각들이 어떠한 방식으로 통합되어 현실을 받아들이고 이해를 하는지에 대한 것입니다.

UX 리서치 사이언스 매니저인 Sophie Kim은 팀이 인간의 지각 능력을 활용하여 믿을 수 있을 만큼 충분히 매력적인 감각을 만드는 방법을 설명합니다. “우리의 두뇌는 약간의 촉각 신호, 약간의 시각 신호, 약간의 청각 신호만을 받아들이고서도 이 모든 신호를 융합하여 감각을 실제로 느끼고 당신의 손에 물체가 있다는 것을 확신하는 데 정말 능숙합니다."이라고 말합니다.

RL 지각 연구 과학자인 Jess Hartcher-O'Brien은 큐브를 조작하여 AR과 VR에서 감각 통합이 어떤 느낌일지 상상할 수 있는 방법을 설명합니다. "큐브를 집어들면 재료의 유형과 무게에 대한 가정이 이미 있습니다."라고 그녀는 말합니다. “나는 그것을 파악하고 재료를 확인하므로 재료 속성에 대한 시각적 신호와 충격의 첫 순간에서 오는 햅틱 피드백을 결합하고 있습니다. 내가 물체를 조작하려고 할 때, 내 뇌는 마찰력과 관성을 인식하고 이 물체가 얼마나 조밀하고 무거운지 알아낼 수 있습니다. 내 시각 시스템은 내 팔이 움직이는 것을 보는 방식에 따라 업데이트됩니다. 고유수용감각은 내 팔이 어디에 있는지, 얼마나 빨리 움직이는지, 내 근육이 하는 일을 알려줍니다.”

편안함과 스마트한 섬유로 맞춤 제작

프로그램이 완성됨에 따라 팀은 장갑의 편안함과 센서와 로봇 액추에이터를 장갑 자체의 재료에 통합하는 문제를 해결하기 시작했습니다. 단단하거나 무겁거나 불편한 장갑 또는 쉽게 부서지는 장갑은 착용자가 가상현실 경험에서 쉽게 이탈 할 수 있음을 쉽게 알 수 있었습니다. 이를 방지하려면 장갑이 가볍고 부드러우며 내구성이 높아야 합니다.

RL 연구 프로세스 엔지니어인 Katherine Healy는 "새로운 기술을 소형화하고 시스템을 다기능으로 설계해야 한다는 사실을 깨달았습니다."라고 설명합니다. "이렇게 하면 더 적은 공간에 더 많이 장착하고 더 많은 작업을 수행할 수 있으며 이는 편안한 폼 팩터를 구현하는 데 필수적입니다."

재료 그룹은 편안하고 신축성이 있지만 새로운 기능을 생성하기 위해 분자 수준에서 맞춤화되는 플라스틱 및 실리콘과 같은 유연한 재료인 새롭고 저렴한 폴리머를 발명하기 시작했습니다. (스마트 섬유는 고성능을 요구하는 운동경기에도 사용됩니다.)  이를 위해서는 이러한 새로운 재료를 꿰매거나 뜨개질하거나 장갑으로 엮을 수 있는 정말 가는 섬유로 바꾸는 완전히 새로운 제조 기술이 필요했습니다.

RL Research Science 매니저인 Kristy Jost는 "그러나 전도성 실만으로는 VR의 상호 작용에 필요한 모든 기능을 갖추고 있지 않기 때문에 전도성, 용량성 및 감지 기능을 포함한 여러 기능을 동일한 섬유 또는 패브릭으로 구축하고 훨씬 얇고 착용 가능한 폼 팩터를 구현하는 방법을 모색하고 있습니다."라고 덧붙입니다.

얇고 가벼운 햅틱 장갑을 만드는 것은 하나의 도전입니다. 수십억 명의 사람들에게 맞도록 장갑을 맞춤화하는 것 또한 문제입니다.

그렇기 때문에 재료 그룹은 각각의 장갑이 최대한의 촉각 정밀도와 편안함을 위해 맞춤 제작될 수 있는 제조 기술도 연구하고 있습니다. 즉, 작은 액츄에이터를 디자인하고 만드는 새로운 방법을 개발하고 장갑에 정확하게 박을 새로운 뜨개질과 자수 과정을 새로 만드는 것을 의미합니다.

RL은 이제 막 시작되었습니다.

가상 및 증강 현실에서 믿을 수 있는 촉각적 경험을 제공하는 데 필요한 기술 중 일부는 아직 존재하지 않지만, RL 리서치는 촉각적 장갑을 현실화하기 위한 새로운 돌파구를 만들면서 최신 기술을 계속 추진하고 있습니다.

그나저나 페이스북 리얼리티 랩스에서 그냥 RL로 리브랜딩 되었네요.