0. 요약
100판의 데이터만으로도, '승률이 높은 팀이 이긴다'라는 예측의 적중률(72%)은 통계적으로 매우 유의미하게 나왔다.
상대팀과 승률 차이가 1%씩 올라갈때마다, 이번 게임에서 이길 확률은 6%가 올라간다.
데이터 수집이 빠른대전에서 이루어진만큼, 그 적용 또한 빠른대전으로 한정해야 할 것이다.
1. 서론
10일에 걸쳐 직접 데이터를 수집한 'ㅇㅇ'의 노력 끝에 총 100판이라는 귀중한 데이터가 모였다. 물론 샘플링이라는 수집 기법의 특성상 표본 집단이 모집단과 완벽하게 일치하는 특성을 보이기는 어렵다. 하지만, 경우에 따라서는 100개와 같은 적은 샘플만으로도 표본 집단이 모집단과 유사한 특성을 지니는 경우도 있고, 이것이 통계적으로 유의미한지 직접 수치로 입증할 수 있는 경우도 있다.
'ㅇㅇ'의 연구 가설에 많은 이들이 반론을 제기하며 토론을 하였고, 일부는 타당한 가설을 제시하기도 하였으나 일부는 타당한 근거나 통계학에 대한 지식 없이 또는 실험환경과 우리가 접하는 게임 환경에서 벗어나는 가상의 상황에 입각하여 반론을 제기하는 경우가 있었다. 이러한 근거없는 반론들이 안타까워 'ㅇㅇ'의 연구에 수치적 뒷받침이 되고자 통계분석을 진행하였다.
최대한 많은 독자들이 이해할 수 있도록 기술적인 용어의 사용은 지양하려고 노력하였으나, 적어도 무엇을 했다는 것을 기록하기 위해서 사용한 점은 어쩔 수 없다. 혹시라도 관심이 생겨 공부하고 싶은 사람이 있거나, 통계분석을 알고 있는 사람이라면 도움이 될 것이다. 물론, 나보다 더 잘 알고 있는 사람의 비판도 언제든지 환영이다.
2. 데이터 설명
데이터는 'ㅇㅇ'의 10일간에 걸쳐 하루 10판씩, 총 100번의 경기결과 데이터를 사용하였다. 'ㅇㅇ'이 올린 데이터에는 보정된 개인 승률을 사용한 각 팀의 평균승률, 각 팀의 평균승률에 기반한 승리 예측, 실제 경기결과가 기록되어있다.
분석의 편리함을 위해, 임의로 승률이 높은 팀을 A팀, 승률이 낮은 팀을 B팀으로 재배치하였다. 따라서, 조정된 데이터에서는 모두 A팀이 이기는 것으로 예측이 되었다.
이러한 조정은 분석에 아무런 영향을 주지 않는다. 예컨대, 'ㅇㅇ'이 속한 팀이 상대팀보다 승률이 낮은 경기가 있었고, 이 경기에서 'ㅇㅇ'의 팀이 졌다고 해보자. 이 때 'ㅇㅇ'의 팀을 A팀으로 지정하면 예측은 '진다', 경기결과는 '진다'가 될 것이다. 하지만 반대로, 승률이 높았던 상대팀을 A팀으로 지정하면 예측은 '이긴다', 경기결과는 '이긴다'가 되어, 승률 기반 예측과 결과의 적중은 변하지 않는다.
3. 분석결과
보다 자세한 분석 결과는
https://colab.research.google.com/drive/101iMfLD5iW-oEUiIueJh2diK6eE_gLIY?usp=sharing
위의 링크에서 볼 수 있다. 최대한 쉽게 이해할 수 있도록 한글로 설명을 추가했으나, 이 이상의 쉬운 설명은 이제 통계학 교과서를 참조해야 한다.
3.1. 승률이 높으면 이긴다는 예측의 통계적 유의미도 분석
로지스틱 회귀모형에서 계수값이 0.9445로 계산되었다. 계수값의 의미는, '승산비'에 로그를 취한 값이다. 승산비란 현재의 연구에선 '적중한 경기 수'를 '적중하지 못한 경기 수'로 나눈 값이다. 이를 계수값을 통해 직접 계산해보면 (exp(0.9445)), 승산비는 2.57이 나온다. 'ㅇㅇ'이 직접 계산한 72%의 적중률 (72경기 적중 성공, 28경기 적중 실패)에서 계산한 값 (72/28)과 동일한 결과가 나온다.
로지스틱 회귀모형을 사용하면 가설검정으로 얼마나 유의미한 결과인지 테스트해볼 수 있다. 비교대상은 동전던지기가 될 것이다. '승률 기반 예측'이 유의미하다는 것은, '랜덤하게 두 팀중 하나를 고르는 것'보다 통계적으로 유의미하게 적중률이 높다는 것을 의미한다.
동전던지기로 승리팀을 예측하는 것은, 이론적으로 50%의 적중률을 갖게 되고, 승산비는 1이 되어, 회귀모형의 계수는 0이 될 것이다.
본 분석에서 사용한 로지스틱 회귀모형의 p-value를 본다면, 소숫점 셋째자리까지 0이 나오는 아주 통계적으로 유의미한 수치가 나왔다. 이는, 신뢰구간 99%에서도 '승률 기반 예측'이 '동전던지기'보다 적중률이 통계적으로 유의미하게 높다는 것을 의미한다.
댓글중에 '1000판은 해야'한다는 주장도 있었으나, 100판만으로 99%의 신뢰구간에서 유의미하게 나온다는 것은 1000판까지 할 필요가 전혀 없다는 뜻이다. (그 댓글을 단 사람이 1000판을 직접 하고싶다면야 말리지 않겠다.)
이해하기 쉽게 예시를 들어보자. 누군가가 당신에게 동전을 주면서 '이 동전이 한쪽으로 휘어서 앞면과 뒷면이 나올 확률이 다른 것 같은데, 한번 확인해줄 수 있나요?'라고 물어봤다면, 동전을 몇번 던져야 그 말이 사실인지 아닌지 판단할 수 있을까? 만약 앞면이 나올 확률이 72프로라면, 앞면 뒷면 나올 확률이 50대50과는 다르다는 사실을 알기까지, 동전을 몇번 던져야 할까? 그래도 모르겠다면 동전을 천 번 던져보시라.
3.2. 각 팀의 승률에 따른 이길 확률에 대한 한계효과 분석
모형을 조금 다르게 변형하여, 각 팀의 승률이 승리에 어떤 영향을 미치는지 계산하였고, 이에 따른 한계효과를 계산하였다.
A팀의 승률이 1% 올라가면 A팀의 승리확률은 약 5% 올라가고, B팀의 승률이 1%올라가면 B팀의 승리확률은 약 5% 감소한다.
다만, p-value가 아래에서 진행할 분석보다는 높고, 신뢰구간 또한 두 분석이 겹치는 구간이 있어, 본 분석보다는 아래의 분석이 조금 더 정확하다고 볼 수 있다.
3.3. 두 팀간 승률 차이에 따른 이길 확률에 대한 한계효과 분석
모형을 다시 변형하여, 각 팀의 승률 차이가 승리에 어떤 영향을 미치는지 계산한 후, 이에 따른 한계효과를 계산하였다.
A팀의 승률이 B팀의 승률보다 높은 상황에서, 그 승률 차이가 1% 올라간다면, 경기에서 승리할 확률은 6%가 증가한다. p-value 또한 매우 낮아, 통계적으로 유의미함을 보였다.
4. 분석의 적용 범위
본 분석에 사용된 데이터는 'ㅇㅇ'이 빠대 솔큐로 직접 수집한 데이터로, 분석이 적용될 수 있는 범위 또한 빠대가 될 것이다. 이를 벗어나면, 분석 결과를 올바르게 적용했다고 보기 어렵다.
4.1. 폭리
폭리에 이러한 예측이 얼마나 적용될 수 있을지는 추가적인 폭리 데이터가 필요하다. 빠대와 폭리 모두 MMR이라는 각자의 점수를 기반으로 매칭된다는 공통점이 있으나 (빠대전사/폭리전사 등의 특징으로 인해 다른 게임모드에서 MMR값이 다른 문제는 차치하도록 하겠다), 폭리의 경우 게임을 시작하고 밴픽을 통해 조합을 맞춰나가는 반면 빠대의 경우 플레이어가 캐릭터를 고르고 매치매이킹 시스템에서 조합을 잡아준다는 차이점이 있다. 이러한 게임 구조의 차이로 인해 구체적인 적중률은 달라질 수 있다. 특히 영웅 또는 조합 상성을 생각해본다면, 폭리에서는 비록 내가 승률이 조금 낮지만 조커픽으로 활용할 수 있는 픽과, 승률은 제일 높지만 상대 조합에 카운터 당하는 픽 중에서 무엇을 고를지는 꽤 자명해보인다. 다만, 개인적인 예측으로는 빠대와 적중률이 심각하게 달라질 것 같지는 않다.
4.2. 가상의 매치업
반론중에 '그마 5명 vs 브론즈 5명', '다야 45퍼와 실버 55퍼'를 비교한 경우도 있었는데, 물론 이러한 인위적인 매칭에서 승률이 유의미한 지표가 되지 않는 것은 맞지만, 빠대의 매치메이킹 시스템에서 이러한 경기가 잡히기도 대단히 어려운 바, 데이터를 무의미하게 만들지는 않는다.
4.3. 5인큐
현재의 한국 서버에서 5인큐가 판을 쳐서, 정확한 데이터 수집을 어렵게 해 데이터의 신뢰도가 높지 않다는 반론들도 있었다. 하지만, 'ㅇㅇ'이 데이터를 수집하면서 경험한 5인큐 비율과, 다른 사람들이 게임하면서 경험한 5인큐 비율이 크게 다르지 않다면, 수집된 데이터는 다른 사람들이 경험하는 빠대의 경험을 어느정도 대표할 수 있는 대표성을 지닌다. 예컨대, 초저녁의 5인큐의 비율과, 새벽의 5인큐의 비율과, 한낮의 5인큐의 비율이 다르다면, 이에 대한 조정이 필요할 것이다. 하지만, 5인큐 비율이 크게 다르지 않다면 데이터의 결과가 대표성을 지닌다 할 수 있다.
물론, 조건부 확률처럼, '솔큐유저가 다인큐 상대팀을 만났을 때', '솔큐유저가 솔큐로만 이루어진 상대팀을 만났을 때', '다인큐가 솔큐로만 이루어진 상대팀을 만났을 때', '다인큐가 다인큐를 상대팀으로 만났을 때' 각각의 예측 적중률이 다를 수 있다. 하지만, 빠대 평균의 예측 적중률은 위의 네 가지 경우에다가 가중치를 곱한 가중평균으로 이해할 수 있고, 이것이 '일반적인 빠대'에서의 예측 적중률이라 볼 수 있다. 그리고 그 결과값은, 'ㅇㅇ'이 수집한 데이터와 크게 차이나지 않을 것이다.
4.4. 승률이 다른 지표보다 뛰어난 적중률을 보이는가
본 연구에서 확인한 것은 '승률 기반 예측이 통계적으로 유의미하다' 이지, '승률이 다른 지표들보다 뛰어나다'가 아니다. 물론 데이터를 수집한다면 다른 지표들도 일부 확인할 수 있을 것이다. 예컨대 원거리 딜러의 경우에 한정해서 영웅 피해량을 보면 그 적중률을 파악할 수 있을 것이다. 다른 지표들도 수치화할 수 있다면, 데이터를 만들어 '비교'해볼 수 있다. 다음 연구자가 당신이 될 수 있고, 연구는 어려운 것이 아니다.
5. 결론
모든 연구의 출발점은 (완전한 이론 연구가 아닌 이상) 데이터 수집이다. 좋은 데이터가 있다면 좋은 연구가 나온다.
100판의 데이터만으로도, '승률이 높은 팀이 이긴다'라는 예측의 적중률(72%)은 통계적으로 매우 유의미하게 나왔다. 상대팀과 승률 차이가 1%씩 올라갈때마다, 승리확률은 6%가 올라간다. 데이터 수집이 빠른대전에서 이루어진만큼, 그 적용 또한 빠른대전으로 한정해야 할 것이다.
물론 예측적중률이 100%가 아니라는 말은, 승패에 영향을 미치는 다른 요인이 존재한다는 뜻이다. 그게 운일수도, 조합차이일수도, 어쩌면 멘탈차이일수도 있다. 물론, 다른 것들이 차이난다고 해서 승률기반 예측이 무의미해지는 것은 아니다. 하지만 반대로, 승률기반으로 우리팀의 패배를 예상한다고 해서, 우리팀이 질 확률이 100%인 것도 아니다. 히오스 매치매이킹 시스템이 '본인한테만' 억까를 하는게 아닌 이상, 남들도 비슷하게 겪고 있으니 팀운이 불리한건 넘기고 본인이 할 수 있는 플레이에 집중하면 그만큼 행복히오스를 할 수 있지 않을까.
포스트 아포칼립스 시대와도 같은 지금의 히오스 판에서 양질의 자료를 수집한 'ㅇㅇ'에게 감사를 드린다.
6. 데이터 원본
6.1. 'ㅇㅇ'의 데이터 및 분석
https://arca.live/b/heroes/94344169
https://arca.live/b/heroes/94386001
https://arca.live/b/heroes/94463316
https://arca.live/b/heroes/94645657
https://arca.live/b/heroes/94731354
https://arca.live/b/heroes/94780873
https://arca.live/b/heroes/94867392
https://arca.live/b/heroes/94980888
https://arca.live/b/heroes/95146515
https://arca.live/b/heroes/95456805
https://arca.live/b/heroes/95544436
https://arca.live/b/heroes/95644677
6.2. 통계분석 및 데이터 CSV 파일
https://colab.research.google.com/drive/101iMfLD5iW-oEUiIueJh2diK6eE_gLIY?usp=sharing
https://drive.google.com/file/d/1AeJVknCg8XQXwzwJYoSk-hip1LjwEWEL/view?usp=sharing
영웅별 공략 및 정보
