手把手教你:基于粒子群优化算法(PSO)优化卷积神经网络(CNN)的文本分类

原文地址

手把手教你:基于粒子群优化算法(PSO)优化卷积神经网络(CNN)的文本分类
<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">

@TOC

</font>

<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">

项目简介

本文主要介绍如何使用python搭建:一个基于:粒子群优化算法(PSO:Particle swarm optimization) 优化CNN网络,并实现文本的分类。

<font color=#999AAA >博主也参考过网上其他博主介绍:粒子群优化算法(PSO)的文章,但大多是理论大于方法。并且很少有用到优化CNN或其他网络的代码。很多同学肯定对原理不需要过多了解,只需要搭建出一个分类或预测系统即可。</font>

本文只会告诉你如何快速搭建一个基于粒子群优化算法优化CNN的系统并运行,原理的东西可以参考其他博主

也正是因为我发现网上大多的帖子只是针对原理进行介绍,功能实现的相对很少。

如果您有以上想法,那就找对地方了!

<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">

<font color=#999AAA >提示:以下是本篇文章正文内容

一、粒子群算法(PSO)简介

粒子群优化算法(PSO)是一种最优化算法,源于对鸟群捕食的行为研究。粒子群优化算法的基本思想:是通过群体中个体之间的协作和信息共享来寻找最优解

PSO的优势:在于简单容易实现并且没有许多参数的调节。

目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域

二、项目展示

模型预测:
[图片上传失败...(image-8cff2e-1649642682961)]
模型训练:
[图片上传失败...(image-c75bc9-1649642682961)]
特征工程:
[图片上传失败...(image-ca8231-1649642682961)]

项目演示可以参考我在B站发的同名视频
手把手教你:基于粒子群优化算法(PSO)优化卷积神经网络(CNN)的文本分类

二、环境需求

因为本项目基于TensorFlow因此需要以下环境:

  • tensorflow==2.0
  • pandas
  • scikit-learn
  • numpy
  • Word2Vec

环境安装实例

环境都可以通过pip进行安装。如果只是想要功能跑起来,这边建议tensorflow安装cpu版的。

<font color=#999AAA >如果没使用过pycharm通过pip安装包的同学可以参考如下:

点开“终端”,然后通过pip进行安装tensorflow,其他环境包也可以通过上面的方法安装。

三、重要功能模块介绍

1.数据预处理模块(data_create.py)

首先读取书本信息内容并构建训练数据

部分功能代码:

def read_book_path(path):
    """
    读取书本内容
    :param path:
    :return:
    """
    book_msg_list = []
    for root, dirs, files in os.walk(path):
        # 获取作者
        for author_dir in dirs:
            # 子文件夹目录
            file_path = os.path.join(root, author_dir)
            for root_2, dirs_2, files_2 in os.walk(file_path):
                for file in files_2:
                    # 获取书本地址
                    book_path = os.path.join(file_path, file)
                    # 获取书本名称
                    book_name = str(file.split('.txt')[0])
                    with open(book_path, "r", encoding='utf-8') as f:  # 打开文件
                        try:
                            txt_data = f.read()  # 读取文件
                        except UnicodeDecodeError:
                            with open(book_path, "r", encoding='gbk') as f:
                                try:
                                    txt_data = f.read()  # 读取文件
                                except UnicodeDecodeError as e:
                                    print(e)
                                    print("错误文件:" + str(book_path))
                                # gbk编码
                                else:
                                    book_msg = [author_dir, book_name, txt_data]
                                    book_msg_list.append(book_msg)
                        # utf-8编码
                        else:
                            book_msg = [author_dir, book_name, txt_data]
                            book_msg_list.append(book_msg)
    return book_msg_list


def word_2_vec(data_in, words_num=2000, vec_num=128):
    """
    构建书本-文字特征向量
    :param vec_num: 单词的文本向量维度大小
    :param words_num:段落大小
    :param data_in:输入数据,格式为list:作者,书名,内容
    :return:
    """
    label_list = []
    name_list = []
    word_split_list = []
    # 获取所有文本,文本分割
    for i in tqdm(range(len(data_in))):
        label = data_in[i][0]
        book_name = data_in[i][1]
        content = data_in[i][2]
        # 文本处理
        new_content = words_regularized(content)
        words_list = new_content.split()
        # 文本截取
        words_list = words_list[:len(words_list) - len(words_list) % words_num]
        # 将文本按定义的维度进行截取
        for e in range(1, int(len(words_list) / words_num) + 1):
            word_split_list.append(words_list[(e - 1) * words_num:e * words_num])
            label_list.append(label)
            name_list.append(book_name)
    time.sleep(1)
    print("完成文本预处理,共计获取:", len(word_split_list), "个段落。")
    time_s = datetime.now()
    print("****开始预训练词向量,此处预计耗时20秒(根据文本多少变化)")
    # 词向量训练
    # model = Word2Vec(sentences=word_split_list, vector_size=vec_num, min_count=1)
    time_e = datetime.now()
    time_cql = int((time_e - time_s).total_seconds())
    model = Word2Vec.load('models/word2vec.model')
    # model.save('models/word2vec.model')
    print("完成文本词向量特征预训练,耗时:", time_cql, "秒。", "预训练词向量保存地址:models/word2vec.model")
    # 完成特征构建
    words_vec_list = []
    for i in tqdm(range(len(word_split_list))):
        content = word_split_list[i]
        vec_list = []
        for word in content:
            vec = model.wv[word]
            vec_list.append(vec)
        words_vec_list.append(vec_list)
    time.sleep(1)
    print("完成特征构建。")
    return words_vec_list, label_list, name_list

def words_regularized(text):
    """
    过滤特殊符号以及还原常见缩写单词
    :param text:原始文本
    :return:处理后文本
    """

2.定义粒子群优化算法(n_PSO.py)

部分功能代码:

import numpy as np
import random
import n_model as md
import tensorflow as tf


def fit_fun(param, X):  # 适应函数,此处为模型训练
    # 设置GPU按需使用
    gpus = tf.config.experimental.list_physical_devices('GPU')
    tf.config.experimental.set_virtual_device_configuration(gpus[0], [
        tf.config.experimental.VirtualDeviceConfiguration(memory_limit=5120)])
    # 获取模型参数
    label_count = param['label_count']
    a_shape = param['a_shape']
    b_shape = param['b_shape']
    train_data = param['data']
    train_label = param['label']
    model = md.cnn_model(label_count, data_shape=(a_shape, b_shape))
    # 传入待优化参数learning_rate
    res_model = model.model_create(X[-1])
    history = res_model.fit(train_data, train_label, epochs=5, batch_size=8, validation_split=0.2)
    # 获取最小的loss值,优化为loss最小时learning_rate
    val_loss = 1 - max(history.history['val_acc'])
    return val_loss


class Particle:
    # 初始化
    def __init__(self, model_param, x_max, x_min, max_vel, dim):
        self.__pos = [random.uniform(x_min, x_max) for i in range(dim)]  # 粒子的位置
        self.__vel = [random.uniform(-max_vel, max_vel) for i in range(dim)]  # 粒子的速度
        self.__bestPos = [0.0 for i in range(dim)]  # 粒子最好的位置
        self.__fitnessValue = fit_fun(model_param, self.__pos)  # 适应度函数值

    def set_pos(self, i, value):
        self.__pos[i] = value

    def get_pos(self):
        return self.__pos

    def set_best_pos(self, i, value):
        self.__bestPos[i] = value

    def get_best_pos(self):
        return self.__bestPos

    def set_vel(self, i, value):
        self.__vel[i] = value

    def get_vel(self):
        return self.__vel

    def set_fitness_value(self, value):
        self.__fitnessValue = value

    def get_fitness_value(self):
        return self.__fitnessValue


class PSO:
    def __init__(self, model_param, pso_param, best_fitness_value=float('Inf'), C1=2,
                 C2=2, W=1):
        self.C1 = C1
        self.C2 = C2
        self.W = W
        self.dim = pso_param['dim']  # 粒子的维度
        self.size = pso_param['size']  # 粒子个数
        self.iter_num = pso_param['iter_num']  # 迭代次数
        self.x_max = pso_param['x_max']  # 粒子最大位置
        self.x_min = pso_param['x_min']  # 粒子最小位置
        self.max_vel = pso_param['max_vel']  # 粒子最大速度
        self.best_position = [0.0 for i in range(pso_param['dim'])]  # 种群最优位置
        self.model_param = model_param  # 模型参数
        self.best_fitness_value = best_fitness_value
        self.fitness_val_list = []  # 每次迭代最优适应值

        # 对种群进行初始化
        self.Particle_list = [Particle(self.model_param, self.x_max, self.x_min, self.max_vel, self.dim) for i in
                              range(self.size)]

3.定义被优化CNN模型

部分功能代码:

from tensorflow import keras
from tensorflow.keras import layers, models


class cnn_model:
    def __init__(self, label_num, data_shape=(2000, 128)):  # 默认输入张量为(2000,128)
        # res块数量
        self.num_blocks = 2
        # 过滤器数量
        self.filters = 64
        # 步长
        self.conv_size = 3
        # 分类类别数
        self.label_num = label_num
        # 数据输入的shape
        self.data_shape = data_shape
        self.loss = 'sparse_categorical_crossentropy'
        self.metrics = ['acc']

    def res_net_block(self, input_data):
        # CNN层
        x = layers.Conv1D(self.filters, self.conv_size, activation='relu', padding='same')(input_data)
        x = layers.BatchNormalization()(x)
        x = layers.Conv1D(self.filters, self.conv_size, activation=None, padding='same')(x)
        # 第二层没有激活函数


    def model_create(self, learning_rate):

4.使用PSO优化CNN初始化学习率(ModelTrain.py)

import os
from collections import Counter
import numpy as np
from n_PSO import PSO
import n_model as md
import tensorflow as tf
import json

if __name__ == '__main__':
    # 加载数据
    data, label, label_count = load_data()
    # 生成训练集测试集
    train_data, train_label, val_data, val_label = create_train_data(data, label, 0.9)
    # 输入数据的shape值,用于模型构造
    a_shape = data.shape[1]
    b_shape = data.shape[2]
    # 模型参数
    model_param = {
        "a_shape": a_shape,
        "b_shape": b_shape,
        "label_count": label_count,
        "data": train_data,
        "label": train_label
    }
    """
    用粒子群优化算法对训练模型初始化参数进行优化
    """
    # 设置粒子群优化参数
    # 被优化参数
    dim = 1
    # 粒子数
    size = 5
    # 优化算法迭代次数
    iter_num = 20
    # 被优化参数最大值
    x_max = 0.01
    # 被优化参数最小值
    x_min = 0.00001
    # 每个粒子每次移动的最大速度
    max_vel = 0.0005
    # 粒子群算法参数
    pso_param = {
        "dim": dim,
        "size": size,
        "iter_num": iter_num,
        "x_max": x_max,
        "x_min": x_min,
        "max_vel": max_vel
    }
    # 实例化粒子群算法
    pso = PSO(model_param, pso_param)
    # 寻最优解
    best_err, best_learn_rate = pso.update()
    print("粒子群优化后最优准确率为:", 1 - best_err)
    print("粒子群优化后最优初始化learning_rate:", best_learn_rate)
    # 保存pso优化后参数
    os.path.join("app210323")
    best_param = {
        "acc": 1 - best_err,
        "learn_rate": best_learn_rate,
    }
    b = json.dumps(best_param)
    file = open('models/pso_out_param.json', 'w')
    file.write(b)
    file.close()
    """
    使用最优化初始参数进行训练
    """
    # 模型训练
    model = md.cnn_model(label_count, data_shape=(a_shape, b_shape))
    # 使用最优学习率进行训练
    cnn_model = model.model_create(best_learn_rate)

5.模型分类预测

import tensorflow as tf
import numpy as np
from collections import Counter
from tensorflow import keras
# 评估模型
from sklearn.metrics import roc_curve, roc_auc_score, classification_report, accuracy_score


if __name__ == '__main__':
    # -------------------设置显存按需分配-----------------
    # 设置显存
    gpu_memory = 5120
    gpus = tf.config.experimental.list_physical_devices('GPU')
    # 对需要进行限制的GPU进行设置
    tf.config.experimental.set_virtual_device_configuration(gpus[0], [
        tf.config.experimental.VirtualDeviceConfiguration(memory_limit=gpu_memory)])
    # 查看GPU是否可用
    print("检查GPU是否可用:", tf.test.is_gpu_available())
    # 加载测试数据
    val_data, val_label = load_data()
    # 加载模型
    # 模型地址名称,如重新训练了模型,请在此处修改地址和名称
    model_path = 'models/cnn_model_epoch-30_valAcc-0.94545454.h5'
    model = keras.models.load_model(model_path)
    print("模型:", model_path, "。加载成功!")
    print("*****完成预处理,进行模型评估*****")
    y_pred = model.predict(val_data)
    y_pred = [np.argmax(x) for x in y_pred]
    print('------------------测试集上得分:------------------------')
    print('*' * 5)
    print('测试集准确率得分:', accuracy_score(val_label, y_pred))
    print('*' * 5)
    print('准确率、召回率、f1-值测试报告如下:\n', classification_report(val_label, y_pred))

四、完整代码地址

由于项目代码量较大,感兴趣的同学可以下载完整代码,使用过程中如遇到任何问题可以私信我,我都会一一解答。

完整代码下载:
手把手教你:基于粒子群优化算法(PSO)优化卷积神经网络(CNN)的文本分类

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容