무려 3시간 동안 삽질한 끝에 palatino (otf)폰트가 xltxtra와 충돌한다는 것을 알아내었습니다.

footnote에서만 발생하는 아주 희한한 현상입니다. 주석 번호가 4를 넘어가면 본문 글꼴로 식자됩니다.

\documentclass{memoir}

\usepackage{fontspec}

\usepackage{xltxtra}

\setmainfont{Palatino LT Std}

\begin{document} 

blah \footnote{asdf}

blah \footnote{asdf}

blah \footnote{asdf}

blah \footnote{asdf}

blah \footnote{asdf}

\end{document}