유엔군측과 공산군측은 먼저 제2의제인 군사분계선 문제에 관해 논의하였다. 1951년 7월 17일에 시작된 군사분계선 설정에 관한 협상은 현재의 접촉선을 군사분계선으로 하자는 유엔군측의 주장과 38도선을 군사분계선으로 설정해야 한다는 공산군측의 주장이 팽팽하게 맞서 회담이 교착되기도 했다. 그러나 결국 이 문제는 현재 접촉선을 군사분계선으로 하자는 유엔군측의 주장이 관철됨으로써 1951년 11월 27일 쌍방은 군사분계선의 설정 협정에 조인하였다.