本文介绍如何利用BERT fine-tuning一个文本情感分类模型。

0.准备工作

A、情感文本分类数据集下载。

链接:https://pan.baidu.com/s/1_DVJ-Tjq8V7tTZc80O-M7w 密码:7px1

这里是本人收集的新闻标题情感二分类(0代表积极，1代表消极)数据集，数据比例为train:dev:test=10000:3000:1000，正负比例1:1。

数据格式如下：

新闻标题情感分类数据集

B、机器环境准备。

google/bert要求tensorflow版本>=1.11.0

google/bert要求tensorflow版本

本机环境配置如下：

cuda10

cudnn7.4.1

python==3.6.10

tensorflow-gpu==1.11.0

C、BERT中文模型下载

bert官网google/bert：https://github.com/google-research/bert

模型描述：Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

下载地址：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

将Zip文件解压,包含以下四个文件：

BERT中文模型

D、克隆google/bert代码，了解代码结构

git clone https://github.com/google-research/bert.git

google/bert代码

代码结构如图，run.sh文件是我新建的，clone下来是没有。

可以看到，要用bert通过fine-tuning进行文本分类，仅需要改动run_classifier.py文件即可。run.sh是为了运行方便新建的脚本文件，可有可无。

2、修改部分代码，轻松实现文本分类

根据上一节说明，要用bert通过fine-tuning进行文本分类，仅需要改动run_classifier.py文件即可。

观察run_classifier.py的代码结构

代码结构

如图，改动包括红框中的两部分，自定义数据处理类BinaryClassificationProcessor和修改函数main(_)。具体操作如下：

A、自定义数据处理类

我模仿xxxProcessor自定义了数据处理类BinaryClassificationProcessor，同样继承自DataProcessor.

自定义数据处理类结构如下：

自定义数据处理类结构

如图，重写四个函数，分别是get_train_examples，get_dev_examples，get_test_examples和get_labels，其实就是告诉程序如何从输入数据集中读取训练数据、验证数据、测试数据和标签。

具体代码如下：

自定义数据处理类代码1

自定义数据处理类代码2

B、修改函数main(_)，将自定义数据处理类加入调用字典

修改函数main(_)

如图，模仿其他数据处理类的处理方式，加入刚才自定义的数据处理类。（名字自定义即可）

3、运行fine-tuning文本分类

继续观察run_classifier.py，代码最底部：

参数配置1

如图，这些是必须设置的参数，data_dir即数据集所在目录(train.csv/test.csv/valid.csv所在的文件夹)，task_name即刚才自定义的数据处理类的别名‘bicl’，vocabs_file以及bert_config_file都包含在我们刚才在的bert中文模型中，output_dir即输入目录，即fine-tuning后的模型，以及预测结果文件等等的存储地址。

代码最顶部，还有其他一些参数，可视要求配置：

参数配置2

为了避免每次执行时重新定义参数，因此将运行指令写在run.sh文件中，如下：

run.sh

运行命令：./run.sh（加权限chmod a+x run.sh）

参数do_train、do_eval、do_predict至少有一个是true。如果do_train=False，do_eval=False ,do_predict=True，代表只进行测试，不训练（即预测）。

4、运行结果分析

A、分析运行日志

数据预处理

tokens：按字分，前后加上特定的token[CLS]和[SEP]

input_ids：通过查字典，将每个token转为其对应的id，用末尾补全0的方式进行padding

input_mask：1代表该位置原本有token，0代表该位置原本没有token,用0进行padding

segment_ids：0代表第1句，1代表第2句，以此类推

bert模型graph载入

模型fine-tuning

上图，包括模型预训练参数载入、训练、模型保存、输出loss

模型在验证集上的表现

上图，是fun-tuning后的bert模型在valid.csv（验证）数据集上的表现。

B、输出文件

根据run.sh的定义，进入输出目录：output_binary_classification

输出

除了模型文件外，test_result.tsv中是模型对test.csv数据集的预测结果，结构如下，根据我们在自定义数据类中对label的读取定义，左侧数字代表分类结果为‘0’的概率，右侧为分类为‘1’的概率：

预测结果

那么，如果想让输出的结果直接是类别信息呢，即将上面的概率信息再进行一次处理得到分类标签和准确率呢？很简单，继续改造run_classifier.py的main(_)函数即可。

核心就是仿照以上程序，获取概率值最大的类别的下标：

Indexindex=np.argmax(probabilities,axis=0)，再写入文件就好了。

5.总结

以上，就是Bert文本分类(fine-tuning)的基本内容，由此类推：

A、实现文本相似度计算

只需要改run_classifier.py的自定义数据类即可，读入信息包括text_a,text_b,label。

B、阅读理解

改文件run_squad.py

C、只用feature-based方式使用bert

如果不用fine-tunning,只用feature-based方式使用bert呢，需要修改文件extract_features.py

D、重新预训练bert模型

修改文件run_pretraining.py

再回头看一样bert的代码结构，就知道每个文件的作用了吧。

bert代码结构