虎书读书笔记

Published: by Creative Commons Licence

  • Tags:

词法分析

词法分析负责将输入分解为一个个独立的符号(token)。

词法分析以字符流作为输入,生成一系列token,并抛弃token之间的空白和注释。如果让语法分析器来处理,则会导致语法分析器过于复杂,所以将词法分析部分分离出去。

词法分析不仅仅会将程序分裂为若干个token,同时这些token都会保存自己的类型信息,比如1和2都是整数token,而1.2和3.4都是浮点数token。

语言是字符串组成的集合,字符串是符号(symbol)的有限序列,符号则来自有限字母表(alphabet)。