Токен (лексический анализ)
То́кен (англ. token) — объект, создающийся из лексемы в процессе лексического анализа («токенизации», от англ. tokenizing).
В прикладном программировании понятие токена и его лексема могут не различаться.
Шаблон токена — формальное описание класса лексем, которые могут создать данный тип токена.
тип токена | примеры лексем | описание |
---|---|---|
num | 257 | число |
id | Ident951 | идентификатор |
relop | <= | операция отношения |
string | «Cимвол» | строчная постоянная |
🔥 Top keywords: Заглавная страницаЯндексЦивилёва, Анна ЕвгеньевнаБотулизмСлужебная:ПоискЧемпионат Европы по футболу 2024Годовщины свадьбыYouTubeГорнин, Леонид ВладимировичЦивилёв, Сергей ЕвгеньевичШевцова, Татьяна ВикторовнаКурбан-байрамЧемпионат Европы по футболу 2020Фрадков, Михаил ЕфимовичБРИКССпортивные игры БРИКС 2024Список умерших в 2024 годуДом Дракона (2-й сезон)Мбаппе, КилианПопов, Павел АнатольевичРоссияСавельев, Олег ГенриховичЧемпионат Европы по футболуЦаликов, Руслан ХаджисмеловичСборная Украины по футболуБриджертоныПацаны (4-й сезон)Путин, Владимир ВладимировичКлеопатраЛепс, Григорий ВикторовичЛукаку, РомелуДом ДраконаГоловоломка 2Криштиану РоналдуТедеско, ДоменикоСборная Румынии по футболуРебров, Сергей СтаниславовичЧикатило, Андрей РомановичСборная Франции по футболу