安装
安装环境为64位Linux系统
运行程序：
unzip THUTag-master.zip
cd THUTag-master/demo/
java -Xmx5G -jar ./tagsuggest.jar evaluation.CrossValidator \
--dataset=../traindata/bookPost70000.dat \
--trainer_class=TrainWTM \
--suggester_class=SMTTagSuggest \
--num_folds=5 \
--config="dataType=DoubanPost;para=0.5;minwordfreq=10;mintagfreq=10;selfTrans=0.2;commonLimit=2" \
--working_dir=./wtm_douban \
--at_n=10 \
--report=./evaluation_WTMreal.txt
上述测试的是交叉验证，还可以训练新的模型：
java -Xmx5G -jar tagsuggest.jar train.TrainWAM \
--input=../traindata/KeywordPost.dat \
--output=./wam_news/ \
--config="num_tags=10;norm=all_log;size=13702;dataType=KeywordPost;minwordfreq=10;mintagfreq=10;para=0.8"
用训练模型进行预测：
model_dir=wam_news
infile=1.txt
outfile=1.out
java -Xmx8G -jar tagsuggest.jar evaluation.TestDemo \
--model_path=$model_dir \
--algorithm=SMTTagSuggest \
--config="" \
--article_path=$infile \
--output_path=$outfile
输入文件中放入一行文本，格式同KeywordPost.dat，json格式。输出1.out是提取的关键词及其权重。
源码分析
主要分析词对齐模型WAM（word aligment model)
有三个，区别在于构造翻译对：
./src/java/org/thunlp/tagsuggest/train/TrainWAM.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMWithtitleInstead.java
./src/java/org/thunlp/tagsuggest/train/TrainWAMsample.java
TrainWAM.java采用的方法是对摘要+正文分句，然后统计句子词的tfidf, 计算和标题相同词的加权和：
score += contentTfidf.get(word) * wordProb.get(j);
将score大于scoreLimit的句子选出来构成翻译对，选中句子的分词结果写入文件book，对应标题分词结果写入文件bookTag。
TrainWAMWithtitleInstead.java的不同在于用摘要+正文的第一个句子代表标题构造翻译对。
TrainWAMsample.java从摘要+正文中采样wordnum个词，再从标题采样wordnum个词构成翻译对。采样的权重为词的tf-idf值，采样方法为轮盘赌。
GIZA++用法
详细用法可参考./giza-pp/GIZA++-v2和./giza-pp/mkcls-v2中的README文件
# 采用最大似然估计对词分类，分为80类
mkcls -c80 -pbook -Vbook.vcb.classes opt
mkcls -c80 -pbookTag -VbookTag.vcb.classes opt
# 将纯文本转为GIZA文本格式
plain2snt.out bookTag book
#训练翻译模型：from word to tag
GIZA++ -S book.vcb -T bookTag.vcb -C book_bookTag.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0 -model1dumpfrequency 1
#训练翻译模型：from tag to word
GIZA++ -S bookTag.vcb -T book.vcb -C bookTag_book.snt -m1 5 -m2 0 -mh 0 -m3 0 -m4 0 -model1dumpfrequency 1
参考
博士论文：
基于文档主题结构的关键词抽取方法研究
