흠 이 부분의 답을 저희가 드리기는 어렵겠네요
왜냐하면 현재 커널에 제공된것은
PXA255 에 사용된 것이거든요..

아마도PXA255용으로 만들어진 슬레이브용 디바이스 드라이버를
이용해서 재 작성하셔야 하는데 ...

일단 질문하신 것은

linux/drivers/usb/Makefile을 보시면 아시겠지만
조건에 따라서 여러가지 칩이 붙는데
주로 USB 호스트 와 관련이 있는 겁니다.

도리어 USB 디바이스는 다음 위치를 참조하셔야 합니다.

linux/arch/arm/mach-pxa

여기에 usb-로 시작하는 파일들이 관련이 있읍니다.