2020-12-13 docker build for deepLearing env mxnet-cu10

docker build for deepLearing env mxnet-cu10

base image

nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04

pull image

docker pull [OPTIONS] NAME[:TAG|@DIGEST]
docker pull nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04
Untitled.png

run container

sudo nvidia-docker run -it --name base-10.1-cudnn7 -v /home/qy/Documents/df/:/df  05e3d30bd56a bash

update source.list

/home/qy/Documents/df/ 目录里source.list 拷贝到容器的 /etc/apt/sources.list
执行: apt update

# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse

# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

然后生成新的镜像 nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04 (原来的镜像名一样)

Untitled 1.png
sudo docker commit -m "add vim" -a "qyzhizi" xxxxx(容器id) xxxxx:xx(待生成的镜像名:tag) 

all build

为了使用Dockerfile来构建,为了构建的方便,每次构建一点,下一次的构建在上一次的基础上进行。第一次构建从在新nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04 镜像上,从1.0版本迭代到3.25版本。然后发现在中间过程中cuda的版本安装错了。不过没关系,在原来2.5版本上,从新构建得到2.5-cu10版本,然后继续构建,由于有之前的Dockerfile ,在2.5cu10版本上直接得到最终版本3.0-cu10.
除此之外,从1.0版本开始,所有版本都以 registry.cnshanghai.aliyuncs.com/qyzhizi/dl_base
为镜像名。另外1.0版的镜像提交到了阿里云的镜像库。

Untitled 2.png
Untitled 3.png

1.0

FROM nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04

# for chinese supports
ENV LANG C.UTF-8
RUN rm -rf /var/lib/apt/lists/* \
           /etc/apt/sources.list.d/cuda.list \
           /etc/apt/sources.list.d/nvidia-ml.list && \
    apt-get update && apt-get install -y --no-install-recommends \
    curl \
    vim \
    wget \
    tmux \
    ca-certificates \
    git \
 && rm -rf /var/lib/apt/lists/*

2.2

FROM nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04

# for chinese supports
ENV LANG C.UTF-8
RUN rm -rf /var/lib/apt/lists/* \
           /etc/apt/sources.list.d/cuda.list \
           /etc/apt/sources.list.d/nvidia-ml.list && \
    apt-get update && apt-get install -y --no-install-recommends \
    curl \
    vim \
    wget \
    tmux \
    ca-certificates \
    git \
 && rm -rf /var/lib/apt/lists/*

## Install Miniconda and Python 3.8
ENV CONDA_AUTO_UPDATE_CONDA=false
ENV HOME=/root
ENV PATH=$PATH:$HOME/miniconda/bin
RUN rm /bin/sh && ln -s /bin/bash /bin/sh
RUN curl -sLo ~/miniconda.sh https://repo.continuum.io/miniconda/Miniconda3-py38_4.8.2-Linux-x86_64.sh \
&& chmod +x ~/miniconda.sh \
&& bash ~/miniconda.sh -b -p ~/miniconda \
&& rm ~/miniconda.sh \
&& conda clean -ya \
&& echo ". $HOME/miniconda/etc/profile.d/conda.sh" >> ~/.bashrc

CMD ["bash"]

2.4(2.3)

FROM nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04

# for chinese supports
ENV LANG C.UTF-8
RUN rm -rf /var/lib/apt/lists/* \
           /etc/apt/sources.list.d/cuda.list \
           /etc/apt/sources.list.d/nvidia-ml.list && \
    apt-get update && apt-get install -y --no-install-recommends \
    curl \
    vim \
    wget \
    tmux \
    ca-certificates \
    git \
 && rm -rf /var/lib/apt/lists/*

## Install Miniconda and Python 3.8
ENV CONDA_AUTO_UPDATE_CONDA=false
ENV HOME=/root
ENV PATH=$PATH:$HOME/miniconda/bin
RUN rm /bin/sh && ln -s /bin/bash /bin/sh
RUN curl -sLo ~/miniconda.sh https://repo.continuum.io/miniconda/Miniconda3-py38_4.8.2-Linux-x86_64.sh \
&& chmod +x ~/miniconda.sh \
&& bash ~/miniconda.sh -b -p ~/miniconda \
&& rm ~/miniconda.sh \
&& conda clean -ya \
&& echo ". $HOME/miniconda/etc/profile.d/conda.sh" >> ~/.bashrc

COPY . $HOME
RUN PIP_INSTALL="python -m pip --no-cache-dir install --upgrade" \ 
&& conda config --set show_channel_urls yes \
&& conda env create -f ~/environment.yml
CMD ["bash"]

environment.yml

name: gluon1
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
dependencies:
- python=3.6

2.5-cu10 (2.5)

FROM nvidia/cuda:10.1-cudnn7-runtime-ubuntu18.04

# for chinese supports
ENV LANG C.UTF-8
RUN rm -rf /var/lib/apt/lists/* \
           /etc/apt/sources.list.d/cuda.list \
           /etc/apt/sources.list.d/nvidia-ml.list && \
    apt-get update && apt-get install -y --no-install-recommends \
    curl \
    vim \
    wget \
    tmux \
    ca-certificates \
    git \
 && rm -rf /var/lib/apt/lists/*

## Install Miniconda and Python 3.8
ENV CONDA_AUTO_UPDATE_CONDA=false
ENV HOME=/root
ENV PATH=$PATH:$HOME/miniconda/bin
RUN rm /bin/sh && ln -s /bin/bash /bin/sh
RUN curl -sLo ~/miniconda.sh https://repo.continuum.io/miniconda/Miniconda3-py38_4.8.2-Linux-x86_64.sh \
&& chmod +x ~/miniconda.sh \
&& bash ~/miniconda.sh -b -p ~/miniconda \
&& rm ~/miniconda.sh \
&& conda clean -ya \
&& echo ". $HOME/miniconda/etc/profile.d/conda.sh" >> ~/.bashrc

COPY . $HOME
RUN PIP_INSTALL="python -m pip --no-cache-dir install --upgrade" \ 
&& conda config --set show_channel_urls yes \
&& conda env create -f ~/environment.yml

RUN source ~/miniconda/etc/profile.d/conda.sh \
&& conda activate gluon1 \
&& pip install -r ~/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/ \
&& conda clean -ya \
&& conda deactivate 

CMD ["bash"]

requirement.txt

区别:
2.5-cu10: mxnet-cu101
2.5: mxnet-cu102

mxnet-cu101
d2lzh==1.0.0
jupyter==1.0.0
matplotlib==2.2.2
pandas==0.23.4

3.0-cu10(最终版本),在2.5-cu10的基础上

FROM registry.cn-shanghai.aliyuncs.com/qyzhizi/dl_base:2.5-cu10

## settings
RUN mkdir ~/notebook && \
    source ~/miniconda/etc/profile.d/conda.sh && \
    conda activate gluon1 && \
    pip install https://github.com/mli/notedown/tarball/master &&\
    jupyter notebook --allow-root --generate-config && \
    echo "c.NotebookApp.contents_manager_class = \
    'notedown.NotedownContentsManager'" >>~/.jupyter/jupyter_notebook_config.py

## copy notebooks
RUN  mkdir ~/gluon-tutorials-zh
ADD . /root/gluon-tutorials-zh

CMD source ~/miniconda/etc/profile.d/conda.sh && \
    conda activate gluon1 && cd ~/gluon-tutorials-zh && \
    jupyter notebook --ip=0.0.0.0 --allow-root

3.0

FROM registry.cn-shanghai.aliyuncs.com/qyzhizi/dl_base:2.5

## setup notedown
RUN source ~/miniconda/etc/profile.d/conda.sh &&\
    conda activate gluon1 && \
    pip install https://github.com/mli/notedown/tarball/master &&\
    conda deactivate
#
## copy notebooks
#RUN  mkdir /gluon-tutorials-zh
#COPY / /gluon-tutorials-zh/
#
CMD ["bash"]
#CMD source activate gluon && cd /gluon-tutorials-zh && \
#    jupyter notebook --ip=0.0.0.0 --allow-root

3.1

FROM registry.cn-shanghai.aliyuncs.com/qyzhizi/dl_base:3.0

## settings
RUN mkdir ~/notebook && \
    source ~/miniconda/etc/profile.d/conda.sh && \
    conda activate gluon1 && \
    jupyter notebook --allow-root --generate-config && \
    echo "c.NotebookApp.contents_manager_class = \
    'notedown.NotedownContentsManager'" >>~/.jupyter/jupyter_notebook_config.py
#
## copy notebooks
#RUN  mkdir /gluon-tutorials-zh
#COPY / /gluon-tutorials-zh/
#
CMD ["bash"]
#CMD source activate gluon && cd /gluon-tutorials-zh && \
#    jupyter notebook --ip=0.0.0.0 --allow-root

3.2(3.25)

FROM registry.cn-shanghai.aliyuncs.com/qyzhizi/dl_base:3.0

## settings
RUN mkdir ~/notebook && \
    source ~/miniconda/etc/profile.d/conda.sh && \
    conda activate gluon1 && \
    jupyter notebook --allow-root --generate-config && \
    echo "c.NotebookApp.contents_manager_class = \
    'notedown.NotedownContentsManager'" >>~/.jupyter/jupyter_notebook_config.py
## copy notebooks
RUN  mkdir ~/gluon-tutorials-zh
ADD . /root/gluon-tutorials-zh

CMD source ~/miniconda/etc/profile.d/conda.sh && \
    conda activate gluon1 && cd ~/gluon-tutorials-zh && \
    jupyter notebook --ip=0.0.0.0 --allow-root
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容