токен
Sign in to saveAlso known as tokenisation
breaking a stream of text up into chunks for analysis or further processing
Wikidata facts
- Subclass of
- information processing
Show 1 more fact
- facet of
- compiler construction
via Wikidata · CC0
Article · Русский
То́кен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing). В прикладном программировании понятие токена и его лексема могут не различаться. Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
Abstract from DBpedia / Wikipedia · CC BY-SA