本Task的主要任务，是进行文本分类。在原始数据中，有作者填写好的分类。而我们要通过机器学习的方法，根据文章的标题、摘要，来预测文章分类。
数据处理步骤
- 对论文标题和摘要进行处理
- 对论文类别进行处理
- 构建文本分类模型
文本分类思路
- 思路1：TF-IDF + 机器学习分类器
直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上，可以使用SVM、LR、XGBoost等 - 思路2：FastText
FastText是入门款的词向量，利用FaceBook提供的FastText工具，可以快速构建分类器。 - 思路3：WordVec+深度学习分类器
WordVec是进阶款的词向量，并通过构建深度学习分类完成分类。深度学习分类的网络结构可以选择TextCNN、TextRnn、或者Bilstm - 思路4：Bert词向量
Bert是高配款词向量，具有强大的建模学习能力。
处理文本Feature（标题&摘要）
data["text"] = data["title"]+data["abstract"]
data["text"] = data["text"].apply(lambda x:x.replace('\n',' '))
data["text"] = data["text"].apply(lambda x: x.lower())
data = data.drop(['abstract',"title"],axis=1)
str.replace('\n',' ')替换条换行符
str.lower()统一变成小写
处理类别Target(类别)
由于一篇论文是有多个分类的标签的，所以这是一个多目标分类问题。
# 多个类别，包含子分类
data["categories"]=data["categories"].apply(lambda x:x.split(' '))
# 单个类别，不包含子分类
data["categories_big"] = data["categories"].apply(lambda x: [xx.split(".")[0] for xx in x])
str.split(" ")使用空格进行切分，形成列表。
[xx.split(".")[0] for xx in x]对每一项，再使用点进行切分，保留点前面的
Target多类别的编码
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data["categories_big"])
多类别编码.png
由于总共有34种论文的分类，所以目标列就被fit_transform为一个34列的系数矩阵，某一篇论文属于哪几种分类，就在对应的列写1，其余的就是0。
多分类编码的类别名称.png
多分类编码的类别名称，可以使用mlb.classes_获得。
思路1：使用TFIDF+机器学习
步骤1：将文本提取出TFIDF特征
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
初始化一个TfidfVectorizer模型，限制最多4000个单词
data_tfidf = vectorizer.fit_transform(data['text'])
使用文本特征进行fit_transform，
模型单词表.png
vectorizer.get_feature_names()可以获得单词表，总共有4000个单词。
tfidf对象.png
每一篇论文的标题和摘要，都通过TFIDF，转换成为了一个4000维的向量。但是稀疏矩阵的形式，没法直接print出来。这个4000维的向量，可以理解为这4000个单词在该条文本中的重要度吧。
步骤2：划分训练集和测试集
# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(data_tfidf
,data_label
,test_size=0.2
,random_state=1)
以上，使用MultiLabelBinarizer把Target转换为34列，使用TfidfVectorizer把文本转换为4000列。在次基础上，再进行测试集的划分。
步骤3：构建多标签分类器
# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train,y_train)
from sklearn.metrics import accuracy_score
accuracy_score(y_test,clf.predict(x_test))
这里使用了两层嵌套的模型，MultiOutputClassifier里面，包着MultinomialNB。
MultiOutputClassifier是用来扩展多目标分类的。
而里面的MultinomialNB就是一个分类器，多项式本朴素贝叶斯，可以换成SVM、LR、XGBoost等其他的分类器。
如使用XGBoost，代码如下，此时模型fit的时间会比较长。
import xgboost as xgb
model = MultiOutputClassifier(xgb.XGBClassifier(n_jobs = -1))
model.fit(x_train, y_train)
accuracy_score(y_test,model.predict(x_test))
步骤4：查看分类报告
from sklearn.metrics import classification_report
print(classification_report(y_test,clf.predict(x_test), target_names=classes))
分类报告.png
分类报告提供了每种类别的准确率、召回率以及F1值
