Un
token o también llamado
componente léxico es una
cadena de caracteres que tiene un significado coherente en cierto
lenguaje de programación. Ejemplos de tokens podrían ser palabras clave (if, else, while, int, ...),
identificadores, números, signos, o un operador de varios caracteres, (por ejemplo,
:=).