Token ( în engleză token ) este un obiect creat dintr-un lexem în procesul de analiză lexicală („tokenization”, din engleză tokenizing ).
În programarea aplicațiilor, este posibil ca conceptul de token și tokenul său să nu difere.
Un șablon de jetoane este o descriere formală a clasei de jetoane care pot crea un anumit tip de jetoane.
| tip de jeton | exemple de jetoane | Descriere |
|---|---|---|
| num | 257 | număr |
| id | Ident951 | identificator |
| relop | <= | operațiune de relație |
| şir | "Simbol" | constantă cu litere mici |