конвейер - лексич. анализ доделать

Лексический анализ является первым этапом компиляции.

Он преобразует исходный код в последовательность токенов.

Необходимо завершить реализацию лексического анализатора для корректной обработки входных данных.