Translate:
English
Chinese (S)
Chinese (T)
Croatian
Dutch
French
German
Hebrew
Italian
Japanese
Korean
Portuguese
Russian
Serbian
Spanish
Swedish
Turkish
Additional
Tokenizer
Deutschsprachige Wikipedia - Die freie Enzyklopädie
Download this dictionary
Tokenizer
Ein
Tokenizer
(auch
lexikalischer Scanner
, kurz
Lexer
) ist ein Computerprogramm zur Zerlegung von
Plain text
(zum Beispiel
Quellcode
) in Folgen von logisch zusammengehörigen Einheiten, so genannte
Token
. Als solcher ist er oft Teil eines
Compilers
.
Mehr unter Wikipedia.org...
© Dieser Eintrag beinhaltet Material aus
Wikipedia
®
und ist lizensiert auf
GNU-Lizenz für freie Dokumentation
und
Creative Commons Attribution-ShareAlike License