不论是CentOS还是Windows,面对这些bug, 从来没怂过......

image

CentOS下bug汇总篇

真知如同珍宝,不是轻易获得的,必须学习、钻研、思考,最重要的是必须有强烈的求知欲。——托马斯·阿诺德

Real knowledge, like everything else of value, is not to be obtained easily,it must be worked for, studied for, thought for, and more than all, must be prayed for.——Thomas Arnold

image

今天,给大家分享的是CentOS下的一些科研实验中出现的bug及其解决方法。

一、Lib库“CXXABI_1.3.9”问题

程序运行时出现

ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found (required by /home/lab214/anaconda3/lib/python3.8/site-packages/matplotlib/ft2font.cpython-38-x86_64-linux-gnu.so)
image

原因剖析:

该问题出现的原因通常是GCC升级后相应的动态库没有更新,运行程序找不到新版本GCC库中对应的链接符号,所以运行不成功。

解决办法:

查看对应符号版本

strings /usr/lib64/libstdc++.so.6 | grep 'CXXABI'
image

发现此时,可观测到的最高版本只有“CXXABI_1.3.7” 果然没有程序运行所需要的“CXXABI_1.3.9”版本。

针对这个问题,我们可以通过删除系统自带的libstdc++.so.6,将Anaconda3中的libstdc++.so.6拷贝复制到系统对应的地方。

查看系统下libstdc++.so.6版本

ll /usr/lib64/libstdc++*
image

查看Anaconda3下libstdc.so.6版本

ll ~/anaconda3/lib/libstdc*
image

进入系统对应的文件夹位置

cd /usr/lib64/
image

将anaconda3中的libstdc++so.6拷贝到系统相应地方。注意版本号,注意命令行最后有个空格和点“.”(点,表示当前目录)。

sudo cp ~/anaconda3/lib/libstdc++.so.6.0.26 .

查看此时系统文件夹下的内容,可以看到,相比之前多了6.0.26

image

删除系统下libstdc++.so.6旧版本,并查看

sudo rm -rf libstdc++.so.6ll libstdc++.*
image

建立软连接

sudo ln -sf libstdc++.so.6.0.26 libstdc++.so.6
image
sudo ldconfig
image

至此,配置完成,再次查看CXXABI动态库版本

strings ~/anaconda3/lib/libstdc++.so.6 | grep 'CXXABI'
image

二、对特定torch环境的记录

当torch的运行环境出错时,常用的方法是检查其对应的torchvision版本是否正确。例如,torch1.4.0的环境出错时,首先应该要想到对应的torchvision版本是否为0.5.0

torch==1.4.0对应torchvision ==0.5.0 

三、对/etc/sudoers修改所造成的错误

当用户执行sudo时,Linux系统会往往会主动寻找/etc/sudoers文件,判断该用户是否有执行sudo的权限。当想要root执行不需要输入密码时,往往就需要修改/etc/sudoers文件,但恰恰因此,sudo命令常常因修改不当而不能使用。

对/etc/sudoers修改后出现的bug错误记录如下:

1/etc/sudoers: 语法错误 near line 124 <<<2sudo: /etc/sudoers 中第 124 行附近有解析错误3sudo: 没有找到有效的 sudoers 资源,退出4sudo: 无法初始化策略插件

切换到root用户,执行 vi /etc/sudoers 编辑文件内容,将第124行的错误改正(注释掉)之后保存退出。

su root
image
gedit  /etc/sudoers

打开后,我们定位到124行附近

image

将这一行删除,之后点击右上角的“保存”

image

再切回普通用户

image

输入命令sudo 此时发现 sudo已经可以正常工作

image

四、Pytorch运行报错问题

运行pytorch时,出现以下错误

AssertionError:The NVIDIA driver on your system is too old (found version 8000).Please update your GPU driver by downloading and installing a newversion from the URL: Download DriversAlternatively, go to: PyTorch to installa PyTorch version that has been compiled with your version

这个错误提示具有误导性,其实不是Nvidia驱动显卡驱动的问题,出现此问题应该先检查Pytorch 的版本和 CUDA 是否匹配。

先确认下自己的 CUDA 版本:

cat /usr/local/cuda/version.txt

https://pytorch.org/get-started/previous-versions/

再在官网找到对应的Linux版本命令,进行安装,即可解决问题。

image

五、多卡GPU训练时出现的问题

当服务器上搭载了不止一块GPU显示时,在进行多卡GPU训练时,可能会出现以下的张量tensor报错问题:

RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
image

这是因为多卡训练的时候tensor不连续,即tensor分布在不同的内存或显存中。

解决方法:对tensor进行操作时先调用contiguous()。

tensor.contiguous().view()

于是打开文档,ctrl+f ,查找view,在前面加上contiguous()

image
IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item<T>()` in C++ to convert a 0-dim tensor to a number
image

六、Pytorch中train_loss语句的问题

train_loss += loss.data[0] 是pytorch0.3.1版本代码,在0.4-0.5版本的pytorch会出现警告,不会报错,但是0.5版本以上的pytorch就会报错,总的来说是版本更新问题。

解决方法:

将原语句:

train_loss+=loss.data[0]

修改为:

train_loss+=loss.item()
image

七、出现段错误(吐核)

image

这是由于它尝试操作地址为0的内存区域,而这个内存区域通常是不可访问的禁区,当然就会出错了。那么就利用gdb逐步查找段错误。

(1)faulthandler调试、(2)settrace调试、(3)gdb调试。

在代码中加入

import faulthandler

faulthandler.enable()

image

命令行运行时使用:

python3 -Xfaulthandler  modelAttack.py或者使用PYTHONFAULTHANDLER=1 python3 test.py
image

结论:经过一系列的其余的调试发现好像也没什么用!最简单的解决方法就是:重新运行、重新打开终端、重启电脑。

八、RuntimeError问题

在执行程序时,如果不注意矩阵维度对应问题,常常会出现以下问题:

RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
image

解决办法,使用reshape方法

image

九、缺少xlrd依赖

Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.

通过安装xlrd来解决

 pip install -i https://pypi.douban.com/simple --trusted-host pypi.douban.com xlrd
image

十、xlrd版本大于2.0所引出的问题

ValueError: Your version of xlrd is 2.0.1. In xlrd >= 2.0, only the xls format is supported. Install openpyxl instead.
image

原因剖析

xlrd2.0之后的版本不支持xlsx文件的读入了,需要另外修改文件或者使用其它库。

两种解决方法:

①直接用excel把xlsx文件另存为xls文件

②安装openpyxl库

pip install -i https://pypi.douban.com/simple --trusted-host pypi.douban.com openpyxl
image

十一、多进程问题

当运行多进程代码时,如果没注意在main函数中运行,常常会出现以下错误

RuntimeError:         An attempt has been made to start a new process before the        current process has finished its bootstrapping phase.        This probably means that you are not using fork to start your        child processes and you have forgotten to use the proper idiom        in the main module:            if __name__ == '__main__':                freeze_support()                ...        The "freeze_support()" line can be omitted if the program        is not going to be frozen to produce an executable.
image

原因:多进程需要在main函数中运行

image

解决方法:

①加main函数的解决方法

加main函数,在main中调用

image

②修改num_workers的方法

num_workers改为0,单进程加载

十二、关于imsave使用中出现的问题

Python调用imsave报错

ImportError: cannot import name imsave
image

imsave函数,该函数属于scipy包,单独导入该包可能会运行失败,这是因为还需要Python的图像处理库Pillow的支持。

image

使用pip命令安装Pillow

pip install -i https://pypi.douban.com/simple --trusted-host pypi.douban.com pillow
image

安装imageio库

pip install -i https://pypi.douban.com/simple --trusted-host pypi.douban.com imageio
image

在调用时更改为从imageio调用

from imageio import imsave
image

十三、为程序生成requirements.txt文件

程序写完后,打开控制台,在命令行模式下输入以下代码

pip freeze>requirements.txt
image

十四、神经网络训练出现Loss nan 现象

问题:在pytorch训练时出现loss nan的现象,并且训练的准确度ACC越来越小。

image

解决方法:

出现此种问题,是因为学习率太大,将学习率调小,即可解决。

十五、画图时出现多图混搅的问题

使用pyhton画图保存图像时,出现多个图存在一起混搅的问题

image

解决办法:使用clf()函数 清空绘画板

使用clf()函数后再次运行,可见此时图像已经不会再混搅在一起

image

十六、Python生成的eps图片显示不全

问题描述:

利用python将图片转成eps后,在撰写科研论文时,使用Latex加载,出现显示不全的问题。

image

解决方法:

①不是用python直接转成eps,而是使用python将图像先转成pdf。

②之后再使用pdf编辑器(PDF编辑利器 Adobe Acrobat XI Pro破解安装)---另存为---eps格式,即可完美使用。

image
image
image

对此,你有什么看法呢?如果你在操作过程中遇到了什么问题,或有什么想法和建议,在留言区留下你的足迹吧,与大家一起交流,一起进步~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容