첨부의 파일을 각각 LuaLaTex, XeLaTeX로 돌려보니 서로 다른 결과가 나옵니다.
함초롬바탕과 잘 어울리는 라틴 글꼴 찾기가 어려워서 해 보았는데
LuaLaTeX의 경우, mainfont를 함초롬바탕으로 설정하니 한글 글꼴과 한자 글꼴이 지정이 안 되는 현상이 발생합니다.

LuaTeX의 버그일까요? 아니면 kotex 패키지의 버그일까요?

ps. XeLaTeX에서 극한 기호가 이탤릭으로 식자되는 건 찾아보니 패키지 로드 순서가 문제네요. 
amsmath를 먼저 load하고 그 뒤에 unicode-math를 불러오면 된다고 합니다.