pyqt5 与 tensorflow结合

我的问题是想看到模型迭代中看到图像的渲染,这个过程需要花费一些时间,所以要分为渲染主线程和数据计算子线程。然而又希望加载模型一次,下面是我尝试成功的一个例子框架。但是想要子线程加载模型以及计算,主线程只管渲染这个方法没有尝试成功,如果有哪位仁兄成功了,可以@我一下吗,非常感谢!

在利用qt designer 设计了界面之后,会生成一个界面类;

主要包括setupUi(self, MainWindow): 和 retranslateUi(self, MainWindow): 两个函数;按照下面方式修改类,就可以像普通类一样用Ui__MainWindow了。

from PyQt5.QtWidgets import QApplication , QMainWindow

class Ui_MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setupUi(self)

    def setupUi(self,MainWindow):
          ...
    def retranslateUi(self, MainWindow):
          ...

if __name__ == '__main__':
    app = QApplication(sys.argv)
    myWin = Ui_MainWindow()
    myWin.show()
    sys.exit(app.exec_())

在Ui_MainWindow 类中增加 tensorflow模型函数,因人而异的,下面仅做借鉴;另外在init(self) 函数中增加loadModel 初始化;

class Ui_MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()
        self.setupUi(self)
        self.loadModel(parse_arguments(sys.argv[1:]))

 def loadModel(self,args):
        self.phase_train_placeholder = tf.placeholder(tf.bool, name='phase_train')
        self.blendshape = tf.Variable(tf.zeros([1, self.hidden_dim]), dtype=tf.float32, name="bs")

        # the input for the discrimiator
        self.input_Img_placeholder = tf.placeholder(tf.float32, [1, self.discri_ImgWei, self.discri_ImgWei, 3],
                                                    name="real_image")

        generator = DCGAN()
        self.pred = generator.g(self.blendshape, training=self.phase_train_placeholder)
   
        pred_netfeature[args.discriminate_featuremap])
        all_vars = tf.trainable_variables()
        ftune_vlist = [v for v in all_vars if v.name.startswith('bs')]
        self.train_op = NetUtil.train(self.loss, global_step=self.global_step, optimizer=args.optimizer,
                                      learning_rate=self.lr, moving_average_decay=args.moving_average_decay,
                                      update_gradient_vars=ftune_vlist)

        # fixed the restore model parameters
        var_to_restore = [v for v in all_vars if (v.name.startswith('g') or v.name.startswith('d'))]
        gen_saver = tf.train.Saver(var_to_restore)
 

        self.summary_op = tf.summary.merge_all()
        self.sess_gen = tf.Session()
        self.writer = tf.summary.FileWriter('log/train', self.sess_gen.graph)
        # TODO initial the bs by different methods
        self.sess_gen.run(tf.global_variables_initializer())
        self.sess_gen.run(tf.local_variables_initializer())
        self.gen_model = generator_model
        gen_saver.restore(self.sess_gen, self.gen_model)
        graph = tf.get_default_graph()
        print("load the generator model success")

触发某个事件,调用子线程,传递所有模型的参数到子线程中;下面涉及到从子线程传递参数到主线程和从主线程传递参数到子线程。其中,主线程传递参数到子线程,只需要在子线程init函数中传参就可以了。从子线程传递到主线程就需要信号和槽机制,

  1. 首先 声明 InfoSignal = QtCore.pyqtSignal(list,list,float,int)
  2. 在run函数中self.InfoSignal.emit(img,bsret,loss_var,i+1)
  3. 子线程传回信号处理事件,在下面代码中函数 OptimEnd函数

触发事件和收到信号代码:

 def on_click(self):
        print("into on click")
        self.pushButton.setDisabled(True)
        # 得到总共优化步数 开始优化,
        optimSumStep = self.stepSumspinBox.value()
        optimStep = self.stepIdxspinBox.value()
        self.lr = self.lrDoubleSpinBox.value()

        # 一个循环每迭代一次,可视化到面板上 ,input: realImg, 和上一次得到blendshape
        self.OptimThread = OptimizerThread(optimSumStep, self.sess_gen, self.RealImg,
                                           self.last_bs, self.blendshape, self.pred,
                                           self.train_op, self.loss, self.input_Img_placeholder,
                                           self.phase_train_placeholder)
        self.OptimThread.InfoSignal.connect(self.OptimEnd)
        self.OptimThread.start()

    def OptimEnd(self,gen_img,last_bs,loss,cnt):
        print("loss=",loss)
        self.last_bs = last_bs
        print(self.last_bs)
        self.gen_img = np.array(gen_img)
        pix = QtGui.QPixmap(qimage2ndarray.array2qimage(self.gen_img))
        self.OptimGraphicsView.setPixmap(QtGui.QPixmap(pix).scaled(580, 640))
        self.stepIdxspinBox.setProperty("value", cnt)
        self.pushButton.setDisabled(False)

子线程代码:

class OptimizerThread(QThread):
    # 声明一个信号,接受返回值 generator_image,bs,loss
    InfoSignal = QtCore.pyqtSignal(list,list,float,int)
    basic_ImgWei = 256
    basic_ImgHei = 256

    discri_ImgWei = 224
    #构造函数,增加参数sess, realImage,bs_init
    def __init__(self,optimStep,sess,realImg,bs_init,blendshape,pred,train_op,loss,input_Img_placeholder,phase_train_placeholder,parent=None):
        super(OptimizerThread,self).__init__(parent)
        print("into the optimizer thread ")
        self.optimStep = optimStep
        self.sess_gen = sess
        self.realImg = realImg
        self.bs_init = bs_init
        self.blendshape = blendshape

        self.pred = pred
        self.train_op = train_op
        self.loss = loss
        self.input_Img_placeholder = input_Img_placeholder
        self.phase_train_placeholder = phase_train_placeholder

    #重写run函数
    def run(self):
        print("into thread run")
        self.sess_gen.run(tf.assign(self.blendshape, self.bs_init))
        print("after blendshape")
        for i in range(self.optimStep):
            bs_img = imresize(self.realImg, (self.discri_ImgWei, self.discri_ImgWei))
            bsimg_tensor = bs_img.reshape(-1, self.discri_ImgWei, self.discri_ImgWei, 3)

            gen_img, _, input_bs, loss_var = self.sess_gen.run(
                [self.pred, self.train_op, self.blendshape, self.loss],
                feed_dict={self.input_Img_placeholder: bsimg_tensor, self.phase_train_placeholder: True})

            self.last_bs = input_bs

            img = gen_img[0].tolist()
            bsret = self.last_bs[0].tolist()
            # self.optimStep = self.optimStep+1
            self.InfoSignal.emit(img,bsret,loss_var,i+1)
        print("thread end")

遗存的问题,以上,我尝试的方案就成功了,我的问题是需要加载一张图片,然后做优化。当我点击触发优化事件之后,再点击触发优化事件ui就会退出,但是从新加载一张照片之后就不会产生这样的情况,即使存在这样的bug,也可以用。如果你发现如何改进,非常感谢你能通知我,希望对初学者有用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容