어제(2023. 12. 23.) 올렸던 제1회 프셐챈 중간고사의 통계입니다.
글을 작성하고 있는 2023년 12월 24일 18시 기준 32명이라는 많은 분들이 응시해 주셨습니다.
관심 가져주시고 응원해주신 여러분들께 감사 인사 드립니다.
[ I. 점수 분포 통계 ]
- 평균: 39.88점
- 중앙값: 39점
- 최빈값: 39점 (3명)
- 최고 점수: 79점 (2명)
- 최저 점수: 0점 (1명)
# 출제자 코멘트
문제 출제 당시 목표 평균 점수는 55점 정도로 생각하고 출제했습니다만, 실제 평균 점수는 이에 한참 못 미치는 39.88점이었습니다.
문항 별 난이도 파악을 잘못하여(난이도를 과소 평가하여) 전체적으로 난이도가 높게 출제되었다고 생각합니다.
[ II. 등급 컷 ]
- 1등급: 79점
- 2등급: 57점
- 3등급: 53점
- 4등급: 48점
- 5등급: 43점
- 6등급: 39점
- 7등급: 21점
- 8등급: 17점
# 출제자 코멘트
퍼센티지로 끊는 등급제도 특성 상 표본 수가 적고 비어 있는 구간이 많아 정확한 등급컷을 산출하기 어렵습니다.
참고사항 혹은 재미용 정도로만 봐 주시기 바랍니다.
[ III. 문항 별 정답률 ]
- 1번: 21.9% (7/32)
- 2번: 84.4% (27/32) <최고 정답률>
- 3번: 25.0% (8/32)
- 4번: 50.0% (16/32)
- 5번: 25.0% (8/32)
- 6번: 81.3% (26/32)
- 7번: 37.5% (12/32)
- 8번: 81.3% (26/32)
- 9번: 28.1% (9/32)
- 10번: 25.0% (8/32)
- 11번: 12.5% (4/32) <최저 정답률>
- 12번: 34.4% (11/32)
- 13번: 78.1% (25/32)
- 14번: 28.1% (9/32)
- 15번: 46.9% (15/32)
- 16번: 31.3% (10/32)
- 17번: 31.3% (10/32)
- 18번: 28.1% (9/32)
- 19번: 40.6% (13/32)
- 20번: 50.0% (16/32)
- 21번: 46.9% (15/32)
- 22번: 18.8% (6/32)
- 23번: 75.0% (24/32)
- 24번: 59.4% (19/32)
- 25번: 28.1% (9/32)
# 출제자 코멘트
총 25문항 중 17문항(84%)의 정답률이 50% 미만으로 떨어졌습니다. 누가 봐도 문제 난이도 조절 실패입니다.
원래 계획은 난이도 50% 미만인 문제들에 대해 더욱 상세한 해설을 제공하려 했으나, 기준선을 다시 생각해 보겠습니다.
[ IV. 설문 조사 통계 ]
설문 조사에는 6분이 참여해 주셨습니다. 다시 한번 감사 드립니다.
1. 체감 난이도
- 매우 어려움: 50% (3/6)
- 어려움: 33.3% (2/6)
- 보통: 16.7% (1/6)
어려운 편이라고 응답한 사람은 6명 중 5명을 차지했습니다.
2. 가장 어려웠던 문제
- 9번: 16.7% (1/6)
- 11번: 33.3% (2/6)
- 15번: 16.7% (1/6)
- 16번: 16.7% (1/6)
- 기타: "다(16.7%, 1/6)"
캐릭터들의 공식 색상과 정보 등을 알아야 풀 수 있었던 9번, '언젠가, 등을 맞댄 가사를' 이벤트 스토리의 세부적인 내용을 알아야 풀 수 있었던 11번, 수록곡 '연애재판' 가사의 표현 방식을 물어보았던 15번, 수록곡 '세계는 시작조차 하지 않았어'의 전체적인 사항을 종합적으로 알아야 풀 수 있었던 16번 등이 체감 상 가장 어려운 문항으로 꼽혔습니다. 실제로 11번 문제는 25문항 중 최저 정답률을 기록하였습니다.
3. 가장 쉬웠던 문제
- 6번: 16.7% (1/6)
- 9번: 16.7% (1/6)
- 13번: 16.7% (1/6)
- 23번: 16.7% (1/6)
- 24번: 16.7% (1/6)
- 기타: "없음(16.7%, 1/6)"
에이리어에 관해 물어보았단 6번, '신 같네'의 가사 내용을 물어보았던 13번, 각각 '야미나베!!!'와 '세츠나 트립'의 채보 문제인 23번과 24번이 체감 상 가장 쉬운 문항으로 꼽혔습니다. 의외로 가장 어려웠던 문제 중 하나로 꼽혔던 9번 문제를 가장 쉽다고 응답한 분도 있었습니다.
4. 아쉬웠거나 개선해야 할 점 (복수 응답 가능)
- 일본어를 알아야 풀 수 있는 문제가 너무 많았다: 66.7% (4/6)
- 문제 난이도 조절: 66.7% (4/6)
- 지엽적인 부분에서 너무 많이 출제되었다: 50.0% (3/6)
- 문제 수가 너무 많았다: 16.7% (1/6)
- 시험 범위가 너무 좁다: 16.7% (1/6)
- 시험 범위가 너무 넓다: 33.3% (2/6)
- 기타: "내가 겜안분인거 같다. 좀 더 공부해야겠다(16.7%, 1/6)"
# 출제자 코멘트
일본어를 알아야 풀 수 있는 문제가 너무 많았다고 응답하신 분들이 많이 계셨습니다. 이 점은 제가 안일하게 생각했던 것 같습니다. 일본어를 몰라도 풀 수 있을 수준이라고 판단하였으나, 실제로는 그렇지 않았던 것 같습니다.
또한, 지엽적인 부분에서 너무 많이 출제되었다고 응답하신 분들도 많이 계셨습니다. 문제들의 난이도를 과소평가하고, 어려운 문제를 넣어야겠다는 필요성에 이벤트 스토리의 세부적인 사항을 물어보는 문제들을 넣게 되었습니다.
앞으로 시험을 더 만들게 된다면, 이 점 유의해서 출제하도록 하겠습니다.
5. 기타 바라는 점, 하고 싶은 말
- 겜안분이라 모르겠다
# 출제자 코멘트
문제가 어려워서이지 겜안분이어서 어려운 것은 아니라고 생각합니다. 모두 화이팅!
- 열심히 만들어주신 문제, 즐겁게 풀었습니다. 어려웠지만 만드신 열정이 느껴지는 것 같아서 저도 즐거워질 정도였어요. 고생하셨습니다.
# 출제자 코멘트
말씀 감사합니다. 힘이 많이 되었습니다. 저도 제작 당시 즐겁게 풀어주실 여러분들을 생각하며 여러 번 갈아엎고 재구성하여 만들었습니다만, 아직 부족한 점이 많았던 것 같습니다. 이 점은 계속해서 고쳐 나가겠습니다.
- 스토리는 1주년 이전으로 물어보고 왜 채보는 3주년 이상 곡들을 물어보는건지
# 출제자 코멘트
처음 '제1회 프셐챈 중간고사'를 계획 할 때, 수록곡 문제 또한 시험범위가 5곡(시험범위 내 이벤트 곡인 '잭 팟 새드 걸', '스텔라', 'Forward', 메인 스토리 곡인 '세계는 시작조차 하지 않았어', 커버곡인 '연애재판')으로 정해져 있었습니다. 하지만, 여러 가지 문제점으로 인하여 수록곡 부분을 갈아엎게 되었고, 그 과정에서 범위를 없애게 되었습니다. 그로 인해 생기는 괴리를 미처 생각하지 못했습니다. 이 점 죄송하게 생각하고, 다음 기회에는 이러한 점들을 개선하여 더 나은 프셐챈 중간고사가 되도록 노력하겠습니다.
감사합니다.
