Zwyczajowo analiza tekstu przebiega w wymienionych wyżej dwóch fazach, jednak lekser może być połączony z parserem w przetwarzaniu jednoprzebiegowym.
Token Token jest strukturą reprezentującą leksem i wprost go kategoryzującą, co ułatwia późniejszą pracę parserowi. Tokeny kategoryzuje się na komputerowy odpowiednik tego, co lingwiści określiliby mianem części mowy. Przykładowe kategorie to: identyfikator, operator przypisania, znacznik początku bloku. Proces tworzenia tokenów z wejściowego strumienia znakowego jest nazywany tokenizacją.
Rozważmy następujące wyrażenie z języka C:
int suma = 3 + 2;
Rezultatem procesu tokenizacji jest ta tabela: LeksemKategoriaintIdentyfikator typu zmiennejsumaIdentyfikator zmiennej=Operator przypisania3Literał całkowitoliczbowy+Operator dodawania2Literał całkowitoliczbowy;Znacznik końca wyrażenia
Gramatyka leksykalna Specyfikacja języka programowania obejmuje szereg reguł które definiują składnię leksykalną. Składnia leksykalna jest zazwyczaj opisana za pomocą wyrażeń regularnych. Definiują one zbiór możliwych sekwencji znakowych które tworzą pojedyncze tokeny. Lekser przetwarza oddzielone znakami białymi ciągi znaków i dla każdego ciągu znaków podejmuje akcję zazwyczaj produkując token, bądź ogłasza błąd analizy leksykalnej.