overleaf에서는 한글이 나왔는데, local에서 compile하니 한글이 나오지 않는 다고 말씀하시고 소스도 올려주셨습니다.

한글이 나오지 않은 이유는
함초롬 글꼴의 설정이 틀립니다.
xelatex을 쓰시면서 \usepackage[T1]{fontenc} 도 같이 쓰셨습니다.
xelatex을 쓰시면서 stix글꼴을 쓰시려면 unicode-math와 mathfont를 지정하여 주시는 것이 맞을 듯합니다.

아마도 overleaf나 Local에서도 error message로 나왔을 텐데, 에러 메시지를 읽지 않으시고 콤파일 버튼만 누르셔서 PDF만 보신 것이 아닐까 생각합니다.

아래는 한글이 나오도록 수정한 부분만 거칠게 정리하여 넣은 것이고, 아마도 고수분들께서 손을 봐주실 수도 있을 겁니다.

% !TEX encoding = UTF-8 Unicode
\documentclass[12pt]{report}
\usepackage[hangul]{kotex}
\usepackage{kotex-logo}
% \usepackage{fontspec} kotex을 불렀으면 굳이 fontspec을 부를 필요 없음.
\usepackage{iftex}
\ifPDFTeX
  \usepackage{dhucs-nanumfont}
\else\ifXeTeX
  \setmainhangulfont[Ligatures=TeX, BoldFont = HANBatangB-LVT.ttf]{HANBatang-LVT.ttf}
  \setsanshangulfont[Ligatures=TeX,BoldFont = HANDotumB-LVT.ttf]{HANDotum-LVT.ttf}
\else\ifLuaTeX
  \setmainhangulfont[Ligatures=TeX, BoldFont = HANBatangB-LVT.ttf]{HANBatang-LVT.ttf}
  \setsanshangulfont[Ligatures=TeX, BoldFont = HANDotumB-LVT.ttf]{HANDotum-LVT.ttf}
\fi\fi\fi
  % 함초롬-LVT는 HANBatang-LVT, HANBatangB-LVT, HANDotum-LVT, HANDotumB-LVT 로 이루어져 있음.
  % 그러므로 글꼴 이름이 잘못 정의되어 있음.
  % 또한 함초롬 LVT가 설치되어 있는지 확인할 것. 아래의 URL 참조.
  %  \setmainhangulfont[Ligatures=TeX]{HANBatang-LVT}[
  %  Extension = .ttf,
  %  UprightFont = *-Regular,
  %  BoldFont = *-Bold]
  % 참조 : http://ftp.ktug.org/pub/ktug/hcr-lvt/
  % 참조 : http://wiki.ktug.org/wiki/wiki.php/KtugPrivateRepository
  % 아래처럼 정의되어 있으면 안됨.

% \usepackage[T1]{fontenc}
% xelatex을 사용한다면 T1 encoding은 사용하면 안됨.
% 참조 : http://www.ktug.org/xe/index.php?document_srl=268902#comment_268917


%\usepackage[notextcomp]{stix}
% xelatex을 사용하면 stix 패키지를 사용하면 안 됨.
% 참조 : http://www.ktug.org/xe/index.php?document_srl=263584#comment_263601
% 참조 : http://www.ktug.org/xe/index.php?document_srl=176602#comment_176635
% unicode-math.pdf 를 참조하여 다른 unicode math글꼴을 선택할 것.
% texdoc unicode-math 명령으로 문서를 불러서 볼 수 있음.
% 예를 들어
% 수식글꼴 설정
\usepackage{amsmath}
\usepackage{unicode-math} % http://www.ctan.org/pkg/unicode-math  참조
%\setmathfont{texgyreterms-math.otf}
% unicode-math에서 사용가능한 글꼴들은 http://www.ctan.org/pkg/unicode-math 를 참조.
\setmathfont{TeX Gyre Termes Math} % 수식 글꼴로 TEX Gyre Terms Math를 사용함. http://www.ctan.org/pkg/tex-gyre-math 참조
% \setmathfont{Latin Modern Math} % http://www.ctan.org/pkg/lm-math 참조
% \setmathfont{Asana Math} % http://www.ctan.org/pkg/asana-math 참조

10년전 문서이지만 http://www.ktug.org/xe/index.php?document_srl=186318#comment_186378 가 도움이 될수도 있겠다고 생각합니다.

likesam께서 상세한 설명과 예제를 보여주셨기 때문에 문제는 해결되었습니다만, 아주 조금 설명을 보충하려고 합니다.

(1) 엔진 검사

\usepackage{iftex}으로 \ifPDFTeX, \ifXeTeX, \ifLuaTeX을 중첩 조건문으로 쓰고 있는데, 이것이 문제는 아니겠지만 XeTeX일 때와 LuaTeX일 때 사실상 설정이 동일하기 때문에 웬지 중복감이 들지요.

다음처럼 하는 것이 아마 최신 트렌드이겠습니다. 저는 조금 다른 문법을 잘 쓰지만 표준적인 모델을 보인다는 의미에서 예시하겠습니다.

\usepackage{etoolbox,iftex}
\ifboolexpr{bool{xetex} or bool{luatex}}
{ ...xetex 또는 luatex일 때의 설정... }
{ ...xetex 또는 luatex이 아닐 때의 설정... }

(2) 레거시 폰트 설정과 유니코드 폰트 설정

제공된 소스에 의하면, 레거시 폰트 설정과 유니코드 폰트 설정이 섞이어 있습니다. 특히, 다음 사항을 강조하여 두겠습니다.

XeTeX으로 컴파일할 때, \usepackage{fontenc}가 \usepackage{kotex}보다 나중에 나오면 안됩니다.

문제는 단순히 \usepackage{fontenc}행의 위치를 바꾸는 데 그치지 않고, \usepackage{fontenc}를 내부적으로 부르는 폰트 설정 패키지의 경우입니다. 이 경우에는 stix 패키지가 그런 경우에 해당하는데, 만약 stix 또는 stix2가 \usepackage{kotex}보다 뒤에 놓이고 XeTeX으로 컴파일하는 상황에서는 한글이 한 글자도 안 나오는 당황스러운 결과가 나타날 수 있습니다. 이에 대해서는 위의 likesam께서 인용한 다른 글(아마 제가 답변한 것 같은데)에 지적되어 있습니다.

그러므로 레거시 폰트 패키지를 XeTeX과 함께 쓰고 있지 않은지 항상 확인해야 할 것입니다.

(3) 함초롬 LVT 폰트 설정의 오류

이 문제는 likesam께서 이미 지적하셨습니다. 핵심은 HANBatang-Regular.ttf라든가 HANBatang-Bold.ttf 같은 폰트가 존재하지 않는다는 것이지요. HANBatang-LVT.ttf, HANBatangB-LVT.ttf가 폰트의 파일이름입니다.

위의 (1), (2), (3)에서 지적한 사항을 적용하여 폰트 설정 부분을 다시 써보면 다음과 같이 됩니다.

\usepackage{amsmath}

\usepackage{etoolbox}
\usepackage{iftex}
\ifboolexpr{bool{xetex} or bool{luatex}}
{
%%% stix2 otf
  \usepackage{fontspec}
  \setmainfont{STIX Two Text}
  \setmainhangulfont{HANBatang-LVT}[
    Extension = .ttf,
    UprightFont = *,
    BoldFont = {HANBatangB-LVT}]
  \setsanshangulfont{HANDotum-LVT}[
    Extension = .ttf,
    UprightFont = *,
    BoldFont = {HANDotumB-LVT}]
  \usepackage{unicode-math}
  \setmathfont{STIX Two Math}
  \setmathhangulfont{HANBatang-LVT.ttf}
}%
{
  \ifpdftex
  \usepackage[T1]{fontenc}
  \usepackage{amssymb}
  \usepackage{textcomp}
  \usepackage[notextcomp]{stix2}  % without notextcomp, "Option clash for package textcomp." error pops up...
  \usepackage{dhucs-nanumfont}
  \fi
}

(4) amssymb와 unicode-math

amssymb는 pdftex, xe/luatex에서 모두 쓸 수 있습니다만 stix 패키지가 정의하고 있는 몇 개의 부호가 amssymb에 정의되지 않은 것이 있습니다.

이 문제를 피해가려면 unicode-math를 amssymb 대신 쓰는 것입니다. unicode-math를 로드하였다면 amssymb를 제외하는 것이 좋습니다.

이 문서의 경우, pdflatex에서 stix를 쓰고 있는데, 제 생각엔 stix2가 나을 듯하고, xe/luatex에서는 stix2 otf를 적용해 보았습니다.