아마 알고계신거 같지만 보통 저런경우에는 아래 3가지중 하나죠
1. 학습한 데이터셋에 잡음이 껴있는경우 (또는 음질이 좋지못한경우)
2. 분리한 추론곡에 잡음이 껴있는 경우 (깔끔하게 분리가 안됐을때)
3. 추론한 곡의 피치가 학습데이터에 없는경우

이제 해결법은 고수님이 나타나 알려주실거임..

호흡 소리 맞습니다.
보통은 직접 구간별로 자르는게 편해요.
그게 아니면 Gate류 플러그인이나 Debreath 같은 숨소리 지우는 플러그인을 쓰거나 하면 됩니다.
편집기형 오토튠, 멜로다인 같은데선 숨소리를 인식해주기 때문에, 얘네만 따로 볼륨을 줄이거나 해줄 수도 있습니다. 

곡에 따라서, 그리고 믹싱 엔지니어에 따라서 소절 앞의 숨소리를 두는 경우도 있고 지우는 경우도 있습니다.
두는 경우엔 좀더 리얼한 느낌을 줄 수 있고, 없애는 경우엔 좀더 깔끔한 느낌을 줄 수 있죠. 
숨소리가 너무 거슬린다 싶으면 줄이거나 지우는게 좋겠죠.

암튼 믹싱이라는 과정은 녹음이 제대로 되어있다는 가정하엔 대체로 본인이 존나게 귀찮게 손을 써야 하는 경우가 많습니다.