使用 dw.py 训练数据 测试数据， 生成结果文件

使用 score 根据训练数据，正确分词结果，和我们生成的结果进行评分

使用 tail 查看结果文件最后几行的总体评分，另外socre.utf8中还提供了大量的比较结果， 可以用于发现自己的分词结果在哪儿做的不够好

注：整个测试过程都在Ubuntu下完成

$ python dw.py pku_training.utf8 pku_test.utf8 pku_result.utf8

$ perl score pku_training.utf8 pku_test_gold.utf8 pku_result.utf8 > score.utf8

$ tail -14 score.utf8

=== SUMMARY:

=== TOTAL INSERTIONS: 4623

=== TOTAL DELETIONS: 1740

=== TOTAL SUBSTITUTIONS: 6650

=== TOTAL NCHANGE: 13013

=== TOTAL TRUE WORD COUNT: 104372

=== TOTAL TEST WORD COUNT: 107255

=== TOTAL TRUE WORDS RECALL: 0.920

=== TOTAL TEST WORDS PRECISION: 0.895

=== F MEASURE: 0.907

=== OOV Rate: 0.940

=== OOV Recall Rate: 0.917

=== IV Recall Rate: 0.966

基于词典的FMM算法是非常基础的分词算法，效果没那么好，不过足够简单，也易于入手，随着学习的深入，我可能还会用Python实现其它的分词算法。另外一个感受是，看书的时候尽量多去实现，这样会让你有足够的热情去关注理论的每一个细节，不会感到那么枯燥无力。

参考资料：