词法分析

1. 目标

把源代码字符流切分成可供后续处理的 token。

2. 相关概念

• 正则表达式
• 有限自动机
• token 分类