김도현 교수님 방법은 실패할 가능성이 없는 방법이고요,

100% 정확성을 보장하지는 않지만... 파일 앞부분에 한글 글자가 있는 경우라면 간단한 방법이 있습니다.

# file -I foo.tex

윈도우즈 버전은 http://gnuwin32.sourceforge DOT net/packages/file.htm

이 바이너리로는 아마 소문자 -i 옵션을 주어야 할 겁니다.