Scooter, crawler, spiders, robots

Ra?onroy
17 de Marzo del 2005
Hola a todos como no s茅 en qu茅 foros preguntar esto lo coloco en la secci贸n general.
Me han dejado investigar estos espias en una materia que se llama "Actualizaci贸n Tecnol贸gica"
驴Quisiera saber si alg煤n buen programador o analista de programas-web me pudiera decir a logicamente hablando como es que funcionan los crawler, spiders o robots como Scooter o GoogleBot y si me deja algun tipo de algoritmo mejor?
He buscado durante 2 horas y media y no he encontrado nada m谩s que "buscan informaci贸n por toda la web y la indexan en una base de datos" y lo que necesito es saber cual es su caracteristica principal referente a la l贸gica.
A quien me responda: Muchas Gracias, Gran Analista!)

juan
17 de Marzo del 2005
el spider recoje los enlaces como estos para una buena indeaxcion

http://es.geocities.com/putassexopornos