원하시는 결과가 아래 그림 같은 것이 맞는지 모르겠지만...이보다 더 작게 하고 싶으시다면 수식 전체를

('\[' 이전부터 '\]'이후까지)

\begin{small} \end{small}

따위로 감싸주시는 방법이 어떨지요? 제 생각에는 한글 수식에서 보여지는 행렬이 오히려 부자연스럽게 타이트해 보입니다.