올려주신 파일을 보니 한글 관련 세팅을 두 번 불러주셨어요.

먼저

\usepackage{xetexko}

그리고 나중에 

\usepackage[utf,hangul]{kotex}

이 가운데 두 번째 것을 지워주시면 잘 작동합니다.(xelatex 으로 컴파일)

이상하게 앞의 것을 지워주면 저는 파트 글꼴 사이즈가 변하지 않네요.

이것은 고수분들이 확인해 주셔야 할 듯.