L'analyse lexicale se trouve tout au début de la chaîne de
compilation. C'est la tâche consistant à décomposer une
chaîne de caractères en
lexèmes, unités ou entités lexicales , aussi appelées
tokens en anglais. Ces entités lexicales, « produites » à la demande de l'
analyseur syntaxique, sont ensuite « consommées » par ce dernier.