Функции лексера поддерживают интерфейс ко встроенному в движок Zend Engine PHP-лексеру Tokenizer. Функции модуля помогают писать пользовательские утилиты анализа или модификации исходного PHP-кода без знания спецификации языка на лексическом уровне.
Смотрите также приложение со списком лексем.