analisis de texto

rulo
22 de Marzo del 2006
quisiera saber como se examina un texto token por token dentro de un programa y un analisis tanto lexico como sintactico segun se existe una clase que se llama token