public Tok(Io ihandle)
{io = ihandle;// 初始化Token（字符归类）字典InitHash();            // initialize the tokens hashtable// 读入文件的第一个字符
    io.ReadChar();// 逐个扫描文件里的字符，获取// 第一个字符归类（Token）
    scan();
}

int foo(int a)

T_INT T_IDENT ‘(‘ T_INT T_IDENT ‘)’

public void InitHash()
{// 为字符类型识别号对照表 – tokens分配空间tokens = new Hashtable();AddTok(T_LEFT_ASSIGN,    "<<=");     // ... ...AddTok(T_IF,        "if");// ... ...AddTok(T_STATIC,        "static");AddTok(T_INT,        "int");// ... ...
}

public const int T_LEFT_ASSIGN    = 10001;
// ... ...
public const int T_IF            = 20001;
// ... ...
public const int T_STATIC        = 30002;
// ... ...
public const int T_INT        = 40003;
// ... ...
public const int T_IDENT         = 50001;
public const int T_DIGITS         = 50002;
public const int T_UNKNOWN        = 99999;
public const int T_EOF         = -1;

public void scan()
{// 跳过注释、换行符、空格等字符
    skipWhite();// 先判断当前读取的字符是不是一个字母// 如果是字母开头的话，要么是关键字，// 要么就是变量名if (Char.IsLetter(io.getNextChar()))// 逐个扫描后面的字符，直到识别出关键字// 或者变量名为止才退出
      LoadName();// 如果当前的字符是 0 - 9的数字else if (Char.IsDigit(io.getNextChar()))// 扫描完后面的数字并归类
      LoadNum();// 如果是操作符，扫描完后面的操作符字符串else if (isOp(io.getNextChar()))LoadOp();// 如果文件已经读取完毕了else if (io.EOF()){// 返回特殊的识别符 T_EOF，表示文件读取完毕value = null;token_id = T_EOF;}else{// 这个字符不是一个合法的字符，归类成T_UNKNOWN// T_UNKNOWN没有被任何语法引用// 如果语法分析器在扫描语法的过程中// 看到这个识别符，很有可能是源码里有语法错误value = new StringBuilder(MyC.MAXSTR);value.Append(io.getNextChar());token_id = T_UNKNOWN;io.ReadChar();}skipWhite();// 条件编译，如果是myc.exe是调试版本，则在命令行里// 打印出当前识别的字符类型，便于myc.exe的开发者排错
#if DEBUGConsole.WriteLine("[tok.scan tok=["+this+"]");
#endif
}

letter ::= "A-Za-z";
digit ::= "0-9";name ::= letter { letter | digit };
integer ::= digit { digit };

void LoadName()
{// 缓存读取到的字符value = new StringBuilder(MyC.MAXSTR);skipWhite();  // 错误验证 - 确保第一个字符是字母if (!Char.IsLetter(io.getNextChar()))throw new ApplicationException("?Expected Name");// 后面跟着的字符只能是数字或者字母while (Char.IsLetterOrDigit(io.getNextChar())){// 缓存字符，以便判断是变量名，还是关键字
    value.Append(io.getNextChar());// 从源文件里读取下一个字符
    io.ReadChar();}// 在字符类型识别表里查询读取到的词组是不是关键字token_id = lookup_id();// 不是关键字的话，那么就是变量名（或函数名）if (token_id <= 0)token_id = T_IDENT;skipWhite();
}

// Io.cs – ReadChar函数public void ReadChar()
{// 判断是不是读到文件末尾了if (_eof)            // if already eof, nothing to do herereturn;// 如果缓存还没有实例化，或者缓存里的字符// 已经处理完毕了，创建一个新的缓存// 对于老的缓存数组，丢给垃圾回收机制处理if (ibuf == null || ibufidx >= MyC.MAXBUF){ibuf = new char[MyC.MAXBUF];_eof = false;// 从源文件里读取一大块内容到缓存里ibufread = rfile.Read(ibuf, 0, MyC.MAXBUF);ibufidx = 0;if (buf == null)buf = new StringBuilder(MyC.MAXSTR);}// 从缓存里读取下一个字符look = ibuf[ibufidx++];// 判断这次读取时，是否已经到源文件末尾了if (ibufread < MyC.MAXBUF && ibufidx > ibufread)_eof = true;/** track the read characters*/// 保存当前读取的字符，以便在生成IL源文件的时候// 可以把C源码跟生成的IL源码对应起来
  buf.Append(look);// 如果碰到换行，更新行号，行号在报告语法错误// 的时候会用到，告知具体语法出错的行号便于// 程序员找到错误if (look == '\n')bufline++;
}