Scooter, crawler, spiders, robots

Ra?onroy
17 de Marzo del 2005
Hola a todos como no sé en qué foros preguntar esto lo coloco en la sección general.
Me han dejado investigar estos espias en una materia que se llama "Actualización Tecnológica"
¿Quisiera saber si algún buen programador o analista de programas-web me pudiera decir a logicamente hablando como es que funcionan los crawler, spiders o robots como Scooter o GoogleBot y si me deja algun tipo de algoritmo mejor?
He buscado durante 2 horas y media y no he encontrado nada más que "buscan información por toda la web y la indexan en una base de datos" y lo que necesito es saber cual es su caracteristica principal referente a la lógica.
A quien me responda: Muchas Gracias, Gran Analista!)

juan
17 de Marzo del 2005
el spider recoje los enlaces como estos para una buena indeaxcion

http://es.geocities.com/putassexopornos