Rastreador web

Anborn
13 de Junio del 2004
Hola, necesito ayuda para crear una aplicación que, al darle una url (p.e: http://www.prueba.com) y un tipo de archivo (p.e: *.txt) busque en esa web y en todos sus subdirectorios en busca de archivos .txt y los descargue en una carpeta temporal creada por la aplicación (lo de la carpeta temporal ya lo tengo solucionado).

El problema está basicamente en como realizar la búsqueda de los archivos.

Gracias.