\numberwithin{figure}[section]을 해보세요. 아니면 subsection이요. \begin{document}이전에요.

기본옵션은 chapter의 몇번째 그림이라고 카운트가 정의되어있기 때문입니다.