구토와 생강 캔디: VR QA 프로세스 내부
by Diego Nicolás Argüello
하루에 25번째 고층 빌딩을 오르면 VR의 참신함이 금세 사라집니다.
Attila Kardos는 3년 넘게 소니 인터랙티브 엔터테인먼트 유럽의 테스트 센터 중 하나인 플레이스테이션 리버풀에서 QA (Quality Assurance - 품질 보증) 테스터 중 한 명으로 근무했습니다. 재직 기간 동안 그는 <갓 오브 워>, <호라이즌: 제로 던>, <디트로이트: 비컴 휴먼> 등의 대작을 개발했습니다. 하지만 지금은 사무실 책상에서 몇 시간 동안 VR 헤드셋을 착용하고 움직임을 물리적으로 모방하는 다른 유형의 테스트에 대해 이야기하고 있습니다.
<블러드 앤 트루스>와 같이 액션 영화 같은 설정에서 주인공을 맡는 게임에서는 VR의 재미 요소가 금방 드러납니다. 하지만 이런 경험은 부담스러울 수 있습니다. 일반적인 플레이어는 언제든지 게임을 그만할 수 있지만, 테스터들은 그런 사치를 부릴 수가 없기 때문입니다. 똑같은 육체적 동작을 반복하는게 질리는 데는 그리 오래 걸리지 않습니다. 그리고 다음 날 출근해서 똑같은 일을 계속해서 해야 합니다.
"결국에는 어깨에 통증을 느끼기 시작합니다."라고 Kardos는 웃으며 말합니다. "근육통이 더 심해지죠."
그는 평균적으로 하루 5~6시간 동안 VR을 사용했습니다. 그는 일부 동료들이 경영진에게 VR이 아닌 프로젝트로 전환해 달라고 요청할 정도로 "꽤 강도 높은" 작업이었다고 말합니다. 어쨌든 결국 Kardos는 VR에 적응하게 되었고, 지금은 그 시절이 좋은 추억으로 남아있습니다. 하지만 처음 2주 동안은 VR 헤드셋을 벗고 퇴근하면, 고개를 움직일 때마다 '현실이 현실이 아닌것 같은 느낌'을 자주 느꼈습니다.
기업들이 과거의 플랫폼들을 업그레이드 하거나 아예 새로운 플랫폼을 출시하면서, PlayStation에서 Apple에 이르기까지 VR은 끊임없이 진화하고 있습니다. 하지만 이러한 기술의 안팎을 면밀히 봐야 하는 QA 테스터의 근무 환경은 대다수의 경우 아직도 구시대적입니다. 저희 Game Informer는 <비트 세이버>, <잡 시뮬레이터>, <코스모니어스 하이>, <레지던트 이블 4 VR>, <블러드 앤 트루스>와 같은 VR 게임에 참여한 테스터, 아티스트, 엔지니어에게 일반 평면 게임 테스트와의 차이점, 육체적 강도와 위생과 같은 요소가 어떻게 작용하는지, 문제에 대한 색다른 해결 방법, 세간에는 잘 알려지지 않은 생강 캔디의 전통에 대해 이야기를 들어보았습니다.
다른 차원으로
VR이 메인스트림으로 도약하면서 게임 개발에 있어 새롭게 고려해야할 사항들이 생겨났고, 결과적으로 그것들에 대한 테스팅이 필요해졌습니다. 기존 평면 게임들의 QA 테스트와의 차이점을 이해하려면, VR의 태동기로 돌아가 영향력 있는 선례들을 둘러보고 이해하는 것이 중요합니다.
이 바닥에서 Owlchemy Labs처럼 잘 정리된 지식들을 쌓아온 스튜디오는 매우 드뭅니다. 텍사스 오스틴에 본사를 둔 이 팀은 HTC Vive와 Oculus Rift가 프로토타입에 불과했을 때 부터 VR 기술에 대한 실험을 시작했습니다. 그때는 VR에 대해 잘 정리된 문서나 입문자를 위한 매뉴얼도 없던 시절입니다. 아직은 텅 비어있던 이 가상 매체의 미래가 매우 유망한건 확실했지만, Owlchemy Labs가 그 가능성을 현실화하기까지는 오랜 시간이 걸렸습니다. "초창기 VR 헤드셋은 회로 기판의 잘못된 부분을 만지면 감전 될 수 있었습니다."라고 2013년부터 Owlchemy Labs에서 게임플레이 디렉터를 맡고 있는 Graeme Borland는 말합니다. "그 정도 엉성한 프로토타입 수준이었죠."
여러 가지 새로운 고려 사항이 빠르게 적용되었습니다. 헤드셋 안팎의 편안함이 가장 중요했습니다. 원칙적으로, VR 게임 내에서의 이동 방법, 프레임 속도 및 로딩 거리와 같은 요소가 몰입감을 얼마나 쉽게 해칠 수 있는지, 시각적 버그가 즉각적인 불편함으로 이어질 수 있다는 사실 등 모든 것이 얽혀 있었습니다.
주요 VR 헤드셋 회사의 초기 몇 년 동안 시행착오와 실험을 통해 다양한 아이디어가 도출되었습니다. 2020년까지 100만 장 이상 판매된 Owlchemy Labs의 <잡 시뮬레이터>와 달리, 모든 초기 VR 게임 프로젝트가 게임 아이디어와 이 VR이라는 신기술을 성공적으로 결합한 것은 아니었습니다. Guerrilla Cambridge 스튜디오에서 개발하고 소니에서 퍼블리싱한 <릭스: 매커나이즈드 컴뱃 리그>의 경우도 마찬가지였습니다.
Kardos는 "이 게임은 PlayStation VR의 첫 번째 기기 시절에 나왔기 때문에, 낮은 해상도, 눈의 피곤함 등 모든 문제들이 매우 신선했습니다."라고 말합니다. <릭스>는 그의 첫 프로젝트였습니다. 이 게임에서 플레이어는 로봇의 조종석에 앉아 로봇의 머리 움직임과 시야 방향은 VR 헤드셋으로 제어하고, 몸의 움직임은 컨트롤러에 의존했습니다. Kardos는 이 때문에 게임 내에서 뛰어다니며 싸우는 것이 "정말 끔찍했다"며, 이러한 피로도가 최종 결과물을 이렇게까지 타협하게 된 요인 중 하나라고 생각합니다. 멀티플레이어 모드가 있는 빠른 속도의 슈팅 게임인 만큼 화면에서 항상 많은 일이 벌어졌고, 어지러움을 느끼기까지 오래 걸리지 않았습니다.
Kardos는 "이런 종류의 VR 게임에 관심이 있는 사람이 많지 않다"는 시장 조사 보고서가 있었다고 말합니다. 게이머들의 초기 반응도 상당히 안 좋았는데, 복잡한 조작 방식과 멀미에 취약하다는 점이 단점으로 지적되었습니다. 소니는 <릭스>가 출시된 지 1년 후인 2017년에 개발사인 Guerrilla Cambridge 스튜디오를 폐쇄했습니다.
움직여라
사실 VR 게임의 테스트 자체에 있어서는 대부분의 일반적인 QA 프로세스와 크게 다른건 없습니다. 버그 보고서나 테스트 케이스 실행(다양한 환경에서 테스트할 특정 요소의 체크리스트)과 같은 작업은 대부분 VR에도 똑같이 적용됩니다. 문제는 VR 헤드셋을 썼다 벗었다를 반복하며 메모를 적기위해 두 번째 모니터로 전환하거나 사내 매신저를 보내는 것과 같은 일상적인 작업도 번거로워진다는 것입니다.
Owlchemy Labs의 수석 그래픽 엔지니어인 Borland 와 Ben Hopkins 는 게임 안에 있는 듯한 인간적인 경험이 VR 개발의 중요한 요소라고 강조합니다. VR 헤드셋을 지속적으로 썼다 벗었다 하는 수고를 줄이기 위해, 팀은 VR 헤드셋을 쓰지 않고도 기본적으로 마우스와 키보드로도 VR 게임을 플레이할 수 있는 디버그 시스템을 구현했습니다. "이렇게 하면 빠른 반복 작업에는 좋지만, 실제로 VR 헤드셋을 착용하지 않으면 제대로 작동하는지 파악할 수 없는 부분이 너무 많습니다."라고 그는 말합니다.
그런데 Owlchemy Labs의 QA 테스터들에게 이 디버그 에디터를 사용해 본 적이 있느냐고 물으면 웃음만 돌아옵니다. "접근 방식이 매우 다릅니다."라고 수석 QA 전문가인 Jessica Fly는 말합니다. 그녀는 이전에는 Cloud Imperium Games에서 <스타 시티즌>을 테스트하는 일을 했습니다. 그때는 평면 모니터에 <스타 시티즌> 게임을 부팅하기만 하면 모든 준비가 끝나던 시절입니다. 이제 그녀의 일과의 시작은 헤드셋을 착용하고 무언가에 걸려 넘어지지 않도록 방이 제대로 정리가되어 있는지 확인하는 것입니다. 이는 실제 테스트에 들어가기 전의 일과입니다.
전체 회귀 테스트를 수행할 때 분명한 예가 있습니다. 이 단계에서 테스터는 업데이트 또는 새 버전이 나온 후 게임을 실행해보며 문제가 없는지 확인합니다. <코스모니어스 하이>의 경우, 18개의 레시피를 모두 테스트하는 작업 중 하나가 있는데, 각 레시피는 그릇에 넣고 섞는 동작이 필요합니다. Fly는 "팔이 정말 죽어나가요."라고 말합니다. "VR 테스트의 육체적인 부분은 솔직히 제가 가장 흥미를 느끼는 부분 중 하나입니다."
"Owlchemy Labs에서 일하기 전에는 Blizzard에서 <하스스톤>을 개발했는데, 완전 몰입형 VR 비디오 게임을 테스트하는 것과 디지털 카드 게임을 테스트하는건 아주 다릅니다."라고 Owlchemy Labs의 QA 테스터 1인 Paul Henderson이 말합니다. "가장 기본적인 움직임인 카드를 슬롯에 드래그하고 상대방에게 드래그하는 동작을 VR 게임에서 어떻게 구현할까요? 그 동작 자체가 바로 구현입니다! 직접 움직여야 하지요."
동작을 통해
Mayank Lal은 2017년 초에 인도 구르가온에 있는 Keywords Studios에 입사했습니다. 그는 QA 게임 테스터로 시작했습니다. 거의 7년이 지난 지금, 그는 QA 테스트 팀의 리더가 되었습니다. 이 기간 동안 Lal은 스튜디오의 포트폴리오에서 VR이 점점 더 중요해지는 것을 목격했습니다. 덕분에 다행히도 200여 명의 직원 중 40명의 VR 테스터에게 더 나은 환경이 제공되었습니다.
처음에는 상황이 엉망이었습니다. 그 당시는 메타(구 페이스북)에 인수되기 전의 오큘러스와 파트너십을 맺었던 시절입니다. 테스터들은 몇 가지 문제를 해결해야 한다는 사실을 금방 깨달았습니다. "당시 테스터로서 관찰한 가장 흔한 문제 중 하나는 장시간 사용 시 메스꺼움을 느끼는 것이었습니다."라고 그는 말합니다. "또한 헤드셋이 뜨거워져 실제로 얼굴 피부에 영향을 미칩니다. 테스터들끼리 헤드셋을 공유하는 경우도 있어 전염병 감염 확률이 높아집니다."
제안된 정책 중 하나는 휴식 시간에 관한 것이었습니다. 테스터는 헤드셋을 20분 동안 사용할 때마다 의무는 아니지만 10분 동안 '휴식'을 취하며 버그를 접수하고 문제를 보고하는 등의 활동을 하도록 권장됩니다. 시간이 지나면서 이 VR이라는 플랫폼이 일부 사람들에게는 영원히 적응할 수 없는 것일 수 있다는 사실을 깨달았습니다. 적응할 수 없었던 직원들은 인사팀에 의사 소견서를 제출하여 더 이상 VR 프로젝트에 투입되지 않도록 할 수 있습니다. 요즘에는 스튜디오에서 테스터를 바로 VR 팀에 배정하지 않습니다. 6개월 동안 다른 플랫폼을 사용해 본 후 교육을 받고 최종적으로 VR에 익숙해졌는지 확인합니다.
"실제로 이곳을 떠나는 사람들이 있습니다."라고 Lal은 말합니다. "건강에 악영향이 간다고 판단하면, 어차피 이 회사에서 이미 무언가를 배우고 이력서에 추가할 수 있는 것들이 생겼기 때문에 사람들은 '나는 더 이상 기회가 없을 거야'라고 생각하지 않습니다. 그래서 스스로가 VR이 무리한 요구사항이라고 생각하면 사직서도 없이 그냥 떠나버리기 합니다. 다음 날 전화로 통보하고는 돌아오지 않죠."
팬데믹 기간 동안 스튜디오는 각 테스터에게 별도의 안면폼 부착물을 지급하여 감염 문제를 완화했습니다. 이제 테스터들은 사무실로 돌아왔으며 (관리자급 직원만 재택 근무를 병행할 수 있습니다), 이들은 건물의 한 층 전체를 VR을 위해 사용하고 있습니다. 평균적으로 테스터들은 8시간 근무 시간 중 절반을 VR 헤드셋을 착용합니다.
이러한 모든 요소는 스튜디오의 내부 규정이나 지점에 따라 다릅니다. 퀘벡주 몬트리올에 위치한 Keywords Studios의 전 기능 QA 테스터인 Sammy Fox에 따르면, 실제로는 버그 보고나 그날 할당된 다른 서류 작업 등의 시간을 제외하면 "감당할 수 있는 최대한" 계속해서 VR 헤드셋을 쓰고 작업을 해야 했다고 말합니다. 여기에 근무 시간으로 포함되는 두 번의 짧은 유급 휴식과, 근무 시간 미호함인 긴 점심 휴식 시간이 규정되어 있었습니다.
익명을 요구한 또 다른 전직 테스터는 모든 테스터가 법적으로는 직원으로 등록되어 있지만 거의 모든 테스터가 출근은 하지 않는 "대기 상태"였다고 말합니다. 기본적으로 이메일을 통해 다음 날 근무 여부를 알 수 있었고, 매일 알림을 확인해 그 날의 출근 여부를 알 수 있었습니다.
운이 좋게도 상당히 일관된 일을 할 수 있었지만 급여는 실망스러웠습니다. 캐나다 달러에서 미국 달러로 환산한 결과, 현지 최저임금이 시간당 약 9달러였던 시절에는 시간당 약 10.50달러가 제일 높은 급여였습니다. 비교를 위해 덧붙이자면, QA 테스트 팀의 리더는 비슷한 시기에 연간 3만 달러 이상의 수입을 올렸습니다.
바쁜 시기에는 한 명의 테스터가 하루에 여러 개의 프로젝트를 진행하는 것이 일반적이었습니다. 초과 근무는 많지 않았지만 오전, 오후, 때로는 주중과 주말에 밤샘 근무를 하는 이른바 '무덤 근무'가 있었습니다. 직원들은 그렇게 하면 보너스를 받기도 했습니다. 이들 중 한명이 말하길, "최악의 기억은 주말에 스트레스 테스트를 했는데, 테스터 중 누군가가 붐비는 공용 화장실에 구토물을 토한 적이 있었다"고 말합니다. "주말에는 건물 청소부가 쉬기 때문에 월요일 아침까지 구토가 청소가 되지 않았습니다. 주말동안 화장실에서 어떤 냄새가 났을지 상상할 수 있죠."
흔들림
CNN의 2017년 보도에 따르면 전문가들은 눈의 피로, 두통, 메스꺼움의 원인이 VR이 눈과 뇌의 연결에 영향을 미치는 방식 때문이라고 말합니다. 현실에서는 눈과 뇌가 동시에 공간의 한 지점에 초점을 맞춥니다. 하지만 VR에서는 반응이 서로 연결되지 않고 분리됩니다. 행동 신경과학자 Walter Greenleaf는 보고서에서 "멀리 있는 것처럼 보이지만 실제로는 눈에서 불과 몇 센티미터 떨어진 곳에 있는 것을 눈에 투영하기 때문에 우리가 보고 상호작용하는 방식이 달라집니다."라고 말했습니다.
이러한 조건은 아직 개발 중인 게임을 테스트할 때 더욱 악화됩니다. 개발팀은 QA에 참여하기 전에 빌드가 안정적인 프레임 속도에 도달하는지 확인하려고 노력하지만, 프로젝트 초기 단계에서 일부 에셋을 완전히 제외하는 방법을 선택하는 경우가 많습니다.
"제가 테스트했던 레이싱 게임에서 게임 내 카메라 시점이 마구잡이로 움직여, 어지러움 때문에 바닥에 쓰러질 뻔했던 기억이 납니다."라고 Fox는 말합니다. 사무실에는 멀미와 이러한 게임 내 '사고'에 대비해 생강과 멀미약이 항상 준비되어 있었습니다. "그럴 때는 VR 헤드셋을 벗고 팀장에게 가서 멀미약을 요청한 다음, 메스꺼움이 가라앉고 실제 VR 테스트를 재개할 수 있을 정도로 괜찮아질 때까지 일반 서류 작업을 수행했습니다."라고 그는 덧붙입니다.
Armature Studio의 선임 환경 아티스트였던 Eric Kozlowsky도 <레지던트 이블 4 VR>을 작업할 때 비슷한 경험을 했다고 회상합니다. "저는 VR은 말할 것도 없고 실제 생활에서도 멀미를 쉽게 하기 때문에 개발 중인 소프트웨어로 작업하는 것이 어려웠습니다."라고 그는 말합니다. "메스꺼움을 느끼긴 했지만 VR 헤드셋을 착용하는 시간을 제한하고 민간요법 치료제를 사용하면 완화할 수 있었습니다. 멀미가 나면 생강 캔디를 먹으면 조금은 도움이 되었습니다."
테스터들은 보통 헤드셋을 사용하는 시간이 가장 많지만, 업무 특성상 일상에서 창의적인 해결 방법을 찾게 됩니다. Universally Speaking의 수석 QA 기술자이자 생강 쿠키 요법의 지지자인 Archie Crampton은 게임 내에서 자신의 키를 60센티미터에서 4.6미터로 변경하는 것이 우스꽝스럽지만 도움이 된다고 말합니다. 또한 그는 스튜디오에서 <비트 세이버> 게임을 테스트하는 대부분의 사람들이 의자에 앉아서 플레이한다고 말합니다. 꽤 능숙해졌기 때문에 생각보다 적은 움직임으로도 레벨을 완료할 수 있다고 합니다.
Hopkins는 Owlchemy Labs의 사무실에 유용한 물품들이 무작위로 많이 있다고 말합니다. 그 중 하나가 '밥 (Bob)'인데, 밥은 카메라 삼각대 상단에 부착된 마네킹 머리입니다. 개발팀은 실제 사람을 의자에 앉히는 대신 밥에게 헤드셋을 씌우고 이리저리 돌려가며 다양한 장면을 촬영했습니다. Borland는 "해결책을 찾으려면 문제에 대해 열린 마음을 가져야 합니다."라고 덧붙입니다.
제가 만난 거의 모든 사람들은 창의성과 더불어 VR의 미래에 대한 기대감을 드러냈습니다. 물론 새로운 기술은 새로운 프로세스를 가져다주기도 하지만 - 특히 Owlchemy Labs 개발진들은 핸드 트래킹을 테스트할 때 여러 사람들이 통일성 없이 각자 제각각의 방식대로 손을 흔든다는 사실을 발견했습니다 - QA를 신선하게 유지해 줍니다.
다음에 편안한 컨트롤과 시각적 결함이 없는 VR 게임을 플레이하게 된다면 테스터에게 감사의 인사를 전하세요. 최고의 결과물을 만들기 위해 수십 번 웅크리고, 손을 흔들고, 섞고, 고층 빌딩에 올라간 사람들이 바로 테스터들이니까요. "<코스모니어스 하이>의 개발 끝 무렵에는 개발자들이 저를 이 게임의 전문가로 인정하고 조언을 위해 찾아올 정도였어요." 라고 Fly는 말합니다. "개발자들이 QA가 매우 중요하고 지식이 풍부하다는 것을 알아주니 기분이 정말 좋았습니다."
-끝-
기사 출처
https://www.gameinformer.com/2023/12/26/vomit-and-ginger-candy-inside-the-vr-qa-process
서양에서는 멀미에 대한 민간요법이 생강인듯
생강 쿠키, 생강 캔디
홍삼 캔디라도 먹어볼까 ㅋㅋ
