Translate:
English
Chinese (S)
Chinese (T)
Croatian
Dutch
French
German
Hebrew
Italian
Japanese
Korean
Portuguese
Russian
Serbian
Spanish
Swedish
Turkish
Additional
Tokenisierung
Deutschsprachige Wikipedia - Die freie Enzyklopädie
Download this dictionary
Tokenisierung
Tokenisierung
bezeichnet in der
Computerlinguistik
die
Segmentierung
eines
Textes
in Einheiten der
Wortebene
(manchmal auch
Sätze
, Absätze o. Ä.). Die Tokenisierung des Textes ist Voraussetzung für dessen Weiterverarbeitung, beispielsweise zur syntaktischen Analyse durch
Parser
, im
Textmining
oder
Information Retrieval
.
Mehr unter Wikipedia.org...
© Dieser Eintrag beinhaltet Material aus
Wikipedia
®
und ist lizensiert auf
GNU-Lizenz für freie Dokumentation
und
Creative Commons Attribution-ShareAlike License