一．实验目的
●了解编译器的词法分析器的作用。其作用是源程序转化为便于编译程序其余部分进行处
理的内部格式。
●了解词法分析器的任务。识别出源程序中的各个基本语法单位；删除无用的空白字符，
回车以及其他与输入介质相关的非实质性的字符，以及注释等。
一．实验说明
●词法分析程序：词法分析程序完成的是编译第一阶段的工作。词法分析工作可以是独立
的一遍，把字符流的源程序变为单词序列，输出在一个中间文件上，这个文件做为语法分析程序的输入而继续编译过程。然而，更一般的情况，是将词法分析程序设计成一个子程序，每当语法分析程序需要一个单词时，则调用该子程序。词法分析程序每得到一次调用，便从源程序文件中读入一些字符，直到识别出一个单词，或说直到下一单词的第一个字符为止。
●词法分析程序的主要功能是从字符流的源程序中识别单词，它要从左至右逐个字符地扫
描源程序，因此它还可完成其它一些任务。比如，滤掉源程序中的注释和空白(由空格，制表或回车换行字符引起的空白)；又比如，为了使编译程序能将发现的错误信息与源程序的出错位置联系起来，词法分析程序负责记录新读入的字符行的行号，以便行号与出错信息相联；再有，在支持宏处理功能的源语言中，可以由词法分析程序完成其预处理等等。
●以下是五种单词符号：
- 保留字，关键字
- 标识符
- 常数（量）
- 运算符
- 界符
●词法分析程序所输出的单词符号常常采用以下二元式表示：(单词种别，单词自身的值)。
单词的种别是语法分析需要的信息，而单词自身的值则是编译其它阶段需要的信息。比如在PASCAL的语句const i=25, yes=1；中的单词25和1的种别都是常数，常数的值25和1对于代码生成来说，是必不可少的。有时，对某些单词来说，不仅仅需要它的值，还需要其它一些信息以便编译的进行。比如，对于标识符来说，还需要记载它的类别、层次还有其它属性，如果这些属性统统收集在符号表中，那么可以将单词的二元式表示设计成如下形式(标识符，指向该标识符所在符号表中位置的指针)，如上述语句中
的单词i和yes的表示为：
(标识符，指向i的表项的指针)
(标识符，指向yes的表项的指针)
●实际上，词法也是语法的一部分，词法描述完全可以归并到语法描述中去，只不过词法
规则更简单些。这在后面的章节中可以看到。为什么将词法分析做为一个独立的阶段？
为什么把编译过程的分析工作划分成词法分析和语法分析两个阶段？主要的考虑因素为：
①使整个编译程序的结构更简洁、清晰和条理化。
②编译程序的效率会改进。
③增强编译程序的可移植性。
二．实验要求
对于如下文法所定义的PASCAL语言子集，试编写一个词法分析程序：
<程序>—><变量说明>BEGIN<词句表>END。
<变量说明>—><变量>，<变量>|<变量>。
<类型>—>INTEGER。
………
………
（1）。单词的分类：可将所有标志符归为一类；将常数归为一类；保留字和分隔符则可采取一词一类。
（2）。符号表的建立：可事先建立一保留字表，以备在识别保留字时进行查询。变量名及常数表则在词法分析过程中建立。
（3）。单词串的输出形式：所有输出单词都用二元组形式。
四．程序设计思路
●实现语言：JA V A
●从源文件读入源代码字符然后进行扫描，第一次扫描去空格，注释，换行，回车等,分
离出数字，关键字，标志符；第二次扫描分离出标点与运算符。
●经过两次扫描分离出四种类型的单词符号，把关键字，标志符，特殊符号，数字分别保
存在一个表中。
●显示结果
●由于采用两次扫描，所以输出结果与书上不同。先关键字，标志符，数字三者然后特殊
符号。
流程图如下：
五．程序代码
package Analyser;
import java.awt.*;
import java.awt.event.*;
import javax.swing.*;
import java.io.*;
import java.util.*;
public class Analyser extends JFrame implements Runnable
{
//保留关键字的数组
private static final String keyWord[]={"PROGRAM","V AR","BEGIN", "END", "integer", "DIV"};
private JTextArea displayTA,resultTA;
private JFileChooser filechooser;
private JButton open,convert;
//记录文本的行数
private int col;
//记录文本内容
private String content;
//creat GUI
private HashTable key;//记录关键字的哈希表
private HashTable identifer;//记录标志符的哈希表
private HashTable digi;//记录数字的哈希表
private HashTable token;//记录符号的哈希表
public Analyser()
{
super("扫描器");
key=new HashTable ();
identifer=new HashTable ();
digi=new HashTable ();
token=new HashTable ();
final Container c=this.getContentPane();
JMenuBar mb=new JMenuBar();
JMenu help=new JMenu("Help");
help.setMnemonic('H');
JMenuItem introduction=new JMenuItem("说明");
introduction.addActionListener(new ActionListener()
{
public void actionPerformed(ActionEvent e)
{
JOptionPane.showMessageDialog(c,"上面文本区显示文件内容，下面文本区显示分析结果");
}
