Record study record life
GPU服务器的购买与深度学习环境配置
人工智能
GPU服务器的购买与深度学习环境配置
人工智能

GPU服务器的购买与深度学习环境配置

服务器购买

进入腾讯云官网后搜索学生机

https://cloud.tencent.com/

z5KshD.png

25岁以下免学生认证，点击校园套餐即可

z5Kgcd.png

点击购买GPU服务器，现在好像涨价了，之前是3个月240

服务器初始配置

z5KfBt.png

配置建议选择ubuntu18.04后点击立即购买

购买成功后进入控制台

点击重装系统

z5KH3Q.png

建议配置如下

z5M3DI.png

配置成功后即可用公网IP进行登入

例如

ssh ubuntu@129.204.202.47

z5M9CF.png

输入nvidia-smi 可查看gpu信息，即表示gpu环境配置成功

z5MC34.png

配置miniconda环境

输入如下命令进行下载安装包到本地，等待下载完成

wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh

添加可执行权限

chmod +x Miniconda3-latest-Linux-x86_64.sh # 添加权限

进行安装

bash Miniconda3-latest-Linux-x86_64.sh # 安装

z5Miv9.png

出现上图画面后按enter回车键，后出现如下画面

z5MkuR.png

接着按q进行跳过，接下来两个输入yes和enter，第二个也可以不输入enter输入你想要安装的位置即可

z5MAD1.png

如果上面是自定义的安装位置则接着输入no不添加到环境变量，后面进行手动添加环境变量

否则则可以直接输入yes，跳过下一步的添加环境变量（当然也可以输入no然后按下一步操作）

z5MZE6.png

至此conda安装完成

接着将conda配置入环境变量

vim .barshrc

按i进入编辑模式

最后一行中加入（该处path为默认的路径，如自定义安装的位置需要替换为安装路径下的bin目录）

export PATH=$PATH:/home/ubuntu/miniconda3/bin

然后按esc后输入:wq进行保存

输入下列语句则可激活刷新环境（接下来就可以正常使用conda了）

source .bashrc

 

配置python环境

（该步骤可做可不做，若不做则需自行pip安装python各类环境包）

法一：使用yml移植conda环境

用yml文件进行conda环境迁移
首先使用export 选项生成一个 environment.yml 文件，以在不同的平台和操作系统之间 复现项目环境。environment.yml 文件不针对特定操作系统，并且使用YAML格式。environment.yml 仅列出了软件包名称，由 conda 基于软件包的名称构建环境。 export 还包括使用pip安装的软件包。

step1: 从其他的服务器导出 environment.yml 文件：

 conda env export > environment.yml

注意：如果当前路径已经有了 environment.yml 文件，conda 会重写这个文件
step 2: 重现环境

 conda env create -f environment.yml

如此则可完成conda环境的迁移

这里是我导出的conda环境，内包含tensorfelow1.15和pytorch及一些深度学习常用包，复制下面代码重命名为environment.yml文件上传到服务器后，输入conda env create -f environment.yml则可以安装复制对应环境（注意该环节的名称为yxy 可用conda acitvate yxy 激活该环境，当然复制完环境后也可使用conda命令对环境重命名）

name: yxy
channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
  - pytorch
  - nvidia
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
dependencies:
  - _libgcc_mutex=0.1=conda_forge
  - _openmp_mutex=4.5=2_kmp_llvm
  - _tflow_select=2.1.0=gpu
  - absl-py=0.15.0=pyhd8ed1ab_0
  - astor=0.8.1=pyh9f0ad1d_0
  - blas=1.0=mkl
  - bzip2=1.0.8=h7b6447c_0
  - c-ares=1.18.1=h7f98852_0
  - ca-certificates=2022.12.7=ha878542_0
  - cached-property=1.5.2=hd8ed1ab_1
  - cached_property=1.5.2=pyha770c72_1
  - certifi=2021.5.30=py36h5fab9bb_0
  - cuda=11.6.2=0
  - cuda-cccl=11.6.55=hf6102b2_0
  - cuda-command-line-tools=11.6.2=0
  - cuda-compiler=11.6.2=0
  - cuda-cudart=11.6.55=he381448_0
  - cuda-cudart-dev=11.6.55=h42ad0f4_0
  - cuda-cuobjdump=11.6.124=h2eeebcb_0
  - cuda-cupti=11.6.124=h86345e5_0
  - cuda-cuxxfilt=11.6.124=hecbf4f6_0
  - cuda-driver-dev=11.6.55=0
  - cuda-gdb=11.8.86=0
  - cuda-libraries=11.6.2=0
  - cuda-libraries-dev=11.6.2=0
  - cuda-memcheck=11.8.86=0
  - cuda-nsight=11.8.86=0
  - cuda-nsight-compute=11.8.0=0
  - cuda-nvcc=11.6.124=hbba6d2d_0
  - cuda-nvdisasm=11.8.86=0
  - cuda-nvml-dev=11.6.55=haa9ef22_0
  - cuda-nvprof=11.8.87=0
  - cuda-nvprune=11.6.124=he22ec0a_0
  - cuda-nvrtc=11.6.124=h020bade_0
  - cuda-nvrtc-dev=11.6.124=h249d397_0
  - cuda-nvtx=11.6.124=h0630a44_0
  - cuda-nvvp=11.8.87=0
  - cuda-runtime=11.6.2=0
  - cuda-samples=11.6.101=h8efea70_0
  - cuda-sanitizer-api=11.8.86=0
  - cuda-toolkit=11.6.2=0
  - cuda-tools=11.6.2=0
  - cuda-visual-tools=11.6.2=0
  - cudatoolkit=10.0.130=h8c5a6a4_10
  - cudnn=7.6.5.32=ha8d7eb6_1
  - cupti=10.0.130=0
  - dataclasses=0.8=pyh4f3eec9_6
  - ffmpeg=4.3=hf484d3e_0
  - freetype=2.12.1=hca18f0e_1
  - gast=0.2.2=py_0
  - gds-tools=1.4.0.31=0
  - gmp=6.2.1=h295c915_3
  - gnutls=3.6.15=he1e5248_0
  - google-pasta=0.2.0=pyh8c360ce_0
  - grpcio=1.38.1=py36h8e87921_0
  - h5py=3.1.0=nompi_py36hc1bc4f5_100
  - hdf5=1.10.6=nompi_h6a2412b_1114
  - icu=70.1=h27087fc_0
  - importlib-metadata=4.8.1=py36h5fab9bb_0
  - jpeg=9e=h166bdaf_2
  - keras-applications=1.0.8=py_1
  - keras-preprocessing=1.1.2=pyhd8ed1ab_0
  - keyutils=1.6.1=h166bdaf_0
  - krb5=1.19.3=h3790be6_0
  - lame=3.100=h7b6447c_0
  - lcms2=2.12=hddcbb42_0
  - lerc=3.0=h9c3ff4c_0
  - libblas=3.9.0=16_linux64_openblas
  - libcblas=3.9.0=16_linux64_openblas
  - libcublas=11.11.3.6=0
  - libcublas-dev=11.11.3.6=0
  - libcufft=10.9.0.58=0
  - libcufft-dev=10.9.0.58=0
  - libcufile=1.4.0.31=0
  - libcufile-dev=1.4.0.31=0
  - libcurand=10.3.0.86=0
  - libcurand-dev=10.3.0.86=0
  - libcurl=7.86.0=h7bff187_1
  - libcusolver=11.4.1.48=0
  - libcusolver-dev=11.4.1.48=0
  - libcusparse=11.7.5.86=0
  - libcusparse-dev=11.7.5.86=0
  - libdeflate=1.10=h7f98852_0
  - libedit=3.1.20191231=he28a2e2_2
  - libev=4.33=h516909a_1
  - libffi=3.2.1=he1b5a44_1007
  - libgcc-ng=12.2.0=h65d4601_19
  - libgfortran-ng=12.2.0=h69a702a_19
  - libgfortran4=7.5.0=ha8ba4b0_17
  - libgfortran5=12.2.0=h337968e_19
  - libgomp=11.2.0=h1234567_1
  - libhwloc=2.8.0=h32351e8_1
  - libiconv=1.17=h166bdaf_0
  - libidn2=2.3.2=h7f8727e_0
  - liblapack=3.9.0=16_linux64_openblas
  - libnghttp2=1.47.0=hdcd2b5c_1
  - libnpp=11.8.0.86=0
  - libnpp-dev=11.8.0.86=0
  - libnvjpeg=11.9.0.86=0
  - libnvjpeg-dev=11.9.0.86=0
  - libopenblas=0.3.21=pthreads_h78a6416_3
  - libpng=1.6.39=h753d276_0
  - libprotobuf=3.18.0=h780b84a_1
  - libssh2=1.10.0=haa6b8db_3
  - libstdcxx-ng=12.2.0=h46fd767_19
  - libtasn1=4.16.0=h27cfd23_0
  - libtiff=4.3.0=h0fcbabc_4
  - libunistring=0.9.10=h27cfd23_0
  - libuv=1.40.0=h7b6447c_0
  - libwebp-base=1.2.4=h166bdaf_0
  - libxml2=2.10.3=h7463322_0
  - libzlib=1.2.13=h166bdaf_4
  - llvm-openmp=15.0.6=he0ac6c6_0
  - lz4-c=1.9.3=h295c915_1
  - markdown=3.4.1=pyhd8ed1ab_0
  - mkl-service=2.3.0=py36he8ac12f_0
  - mkl_fft=1.3.0=py36h54f3939_0
  - mkl_random=1.1.1=py36h0573a6f_0
  - ncurses=6.3=h27087fc_1
  - nettle=3.7.3=hbbd107a_1
  - ninja=1.11.0=h924138e_0
  - nsight-compute=2022.3.0.22=0
  - numpy=1.19.5=py36hfc0c790_2
  - numpy-base=1.19.2=py36hfa32c7d_0
  - olefile=0.46=pyh9f0ad1d_1
  - openh264=2.1.1=h4ff587b_0
  - openjpeg=2.5.0=h7d73246_0
  - openssl=1.1.1s=h0b41bf4_1
  - opt_einsum=3.3.0=pyhd8ed1ab_1
  - pip=21.3.1=pyhd8ed1ab_0
  - protobuf=3.18.0=py36hc4f0c31_0
  - python=3.6.8=h0371630_0
  - python_abi=3.6=2_cp36m
  - pytorch=1.4.0=py3.6_cuda10.0.130_cudnn7.6.3_0
  - pytorch-cuda=11.6=h867d48c_0
  - readline=7.0=hf8c457e_1001
  - scipy=1.5.3=py36h81d768a_1
  - setuptools=58.0.4=py36h5fab9bb_2
  - six=1.16.0=pyh6c4a22f_0
  - sqlite=3.28.0=h8b20d00_0
  - tensorboard=1.15.0=py36_0
  - tensorflow=1.15.0=gpu_py36h5a509aa_0
  - tensorflow-base=1.15.0=gpu_py36h9dcbed7_0
  - tensorflow-estimator=1.15.1=pyh2649769_0
  - tensorflow-gpu=1.15.0=h0d30ee6_0
  - termcolor=1.1.0=pyhd8ed1ab_3
  - tk=8.6.12=h27826a3_0
  - torchvision=0.5.0=py36_cu100
  - typing_extensions=4.1.1=pyha770c72_0
  - webencodings=0.5.1=py36_1
  - werkzeug=0.16.1=py_0
  - wheel=0.37.1=pyhd8ed1ab_0
  - wrapt=1.13.1=py36h8f6f2f9_0
  - xz=5.2.6=h166bdaf_0
  - zipp=3.6.0=pyhd8ed1ab_0
  - zlib=1.2.13=h166bdaf_4
  - zstd=1.5.2=h6239696_4
  - pip:
    - cvx==0.1.3
    - cvxopt==1.3.0
    - cvxpy==1.1.21
    - cycler==0.11.0
    - decorator==4.4.2
    - ecos==2.0.10
    - imageio==2.15.0
    - intel-openmp==2022.2.1
    - joblib==1.1.1
    - keras==2.3.1
    - kiwisolver==1.3.1
    - matplotlib==3.3.4
    - mkl==2022.2.1
    - networkx==2.5.1
    - opencv-python==4.6.0.66
    - osqp==0.6.2.post8
    - pandas==1.1.5
    - pillow==8.4.0
    - pyparsing==3.0.9
    - python-dateutil==2.8.2
    - pytz==2022.6
    - pywavelets==1.1.1
    - pyyaml==6.0
    - qdldl==0.1.5.post2
    - scikit-image==0.17.2
    - scikit-learn==0.24.2
    - scs==3.2.2
    - sklearn==0.0.post1
    - tbb==2021.7.1
    - threadpoolctl==3.1.0
    - tifffile==2020.9.3
prefix: /home/ubuntu/miniconda3/envs/yxy

法二：自行安装配置conda环境

创建python的conda环境

conda create -n yourEnv python=3.6.8

tensorflow版本安装如下

conda install tensorflow-gpu=1.15

pytorch安装如下

conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.0 -c pytorch
conda uninstall pytorch-mutex

如下图出现True则表示pytorch-gpu版本安装成功

z5MeUK.png

Post Views: 3,365
赞赏

微信赞赏 支付宝赞赏

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

2条评论