답변이 늦어서 지성..
SSCR0_SerClkDiv 과 WM8721 의 레지스터도 수정해야 됩니다.

EZ-X5 커널을 받으신 후 driver/sound/pxa-ssp.c , wm8721.c 를 참고하세요