лексический анализатор

В информатике лексический анализ — процесс аналитического разбора входной последовательности символов (например, такой как исходный код на одном из языков программирования) с целью получения на выходе последовательности символов, называемых «токенами» (подобно группировке букв в слова). При этом, группа символов входной последовательности идентифицируемая на выходе процесса как токен называется лексема.