Token (testo)

In informatica, un token è un blocco di testo categorizzato, normalmente costituito da caratteri indivisibili chiamati lessemi. Un analizzatore lessicale inizialmente legge i lessemi e li suddivide in categorie a seconda della loro funzione, dando loro un significato. Questa assegnazione di significato è chiamata tokenizzazione (o analisi lessicale). Un token può essere scritto in qualsiasi linguaggio: deve però avere una qualche utilità in un testo strutturato. Inoltre, bisogna tener presente che, nella programmazione, il codice sorgente si può suddividere in 5 classi di token (costanti, identificatori, operatori, parole riservate e separatori), in accordo con le regole del linguaggio di programmazione scelto.