机器学习环境搭建

💻: Razer blade 15 2018

OS: Windows 10

准备#

由官网查询最新的 CUDA 与 cudnn 版本

所需软件:

.condarc

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
envs_dirs:
  - D:\ProgramData\Anaconda3\envs

创建个虚拟环境:
conda create -n tf

Visual Studio 2019

- Microsoft Visual C++ 2019 Redistributable
- Microsoft Build Tools 2019

CUDA 安装完会自己添加环境变量，不用手动添加

cudnn需要登录下载，下载完解压到 CUDA 的安装目录 “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6”

检查环境
nvidia-smi
nvcc -V

准备完毕。

我下载的是 CUDA11.6+cudnn8.x

这是当前驱动支持的最高 CUDA 版本

TensorFlow 安装#

 conda activate tf

 pip install tensorflow-gpu:2.10.1

(tensorflow-gpu has been removed. Please install tensorflow instead. The tensorflow package supports GPU accelerated operations via Nvidia CUDA.)

目前官方已经取消 Windows 原生 tensorflow-gpu 的安装包更新，最后可用的版本是 2.10.1。以后就得自己编译了
说是 tensorflow 包可以已经可以调用 GPU，但是是在 WSL2 的子系统中

测试#

import tensorflow as tf
tf.__version__
tf.test.is_gpu_available()

可能出现的问题#

conda 建立虚拟环境时都是默认 C 盘，爆满是迟早的事

添加环境目录
conda config --append envs_dirs your_path
conda config --show envs_dirs

指定目录下建立 conda 虚拟环境
conda create --prefix=D:/dev/envs/my_env
conda env list 查看虚拟环境是否存在

嫌上面太麻烦也可以直接把 C 盘的虚拟环境直接剪切到其他盘

Pytorch 安装#

补充 pytorch 的安装，CUDA+cudnn 安装方式同上

看别人文章都是 conda 来装我用 conda 很慢，用的 pip 来安装挺快的。

分享个离线安装的方式

清华大学 pytorch 安装镜像找到对应 pytorch 的 GPU 版，需要找三个压缩包，分别是 pytorch,torchvision,torchaudio, 有版本限制，自行确认好。

我下的是这三个
pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
torchaudio-0.13.1-py310_cu116.tar.bz2
torchvision-0.14.1-py310_cu116.tar.bz2

conda install --offline pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
conda install --offline torchaudio-0.13.1-py310_cu116.tar.bz2
conda install --offline torchvision-0.14.1-py310_cu116.tar.bz2

验证#

>>> torch.cuda.is_available()输出 True

一些常用命令#

conda update conda
conda update anaconda
conda update --all

conda activate your_env_name 进入你的虚拟环境(your_env_name)

conda list 查看当前环境安装了哪些包

conda deactivate 退出虚拟环境

conda env list 查看当前存在哪些虚拟环境

conda env remove --name your_env_name 删除虚拟环境

conda config --show envs_dirs 查看当前的虚拟环境目录

conda config --append envs_dirs your_envs_dirs_path 添加虚拟环境目录(your_envs_dirs_path)

conda config --remove envs_dirs your_envs_dirs_path 删除不用的虚拟环境目录(your_envs_dirs_path)

补充#

官网提供的最后一版 Windows 原生 TensorFlow-GPU 安装包 https://discuss.tensorflow.org/t/2-10-last-version-to-support-native-windows-gpu/12404

ARM MacBook 安装 TensorFlow https://medium.com/mlearning-ai/install-tensorflow-on-mac-m1-m2-with-gpu-support-c404c6cfb580