[вычислительная техника] лексический анализ
лексический анализ один из первых этапов трансляции, во время которого распознаются и формируются символы языка (лексические единицы, токены). В дальнейшем они заменяются внутренними кодами. Токенами являются: ключевые слова языка, идентификаторы, литералы и знаки операций. На этом этапе удаляются комментарии и любые символы, не имеющие значения для следующих фаз анализа. Для создания лексических анализаторов имеется множество инструментальных средств Смотри также: lexical analysis, parsing, syntax analysis