機器學習環境搭建

💻: Razer blade 15 2018

OS: Windows 10

準備#

由官網查詢最新的 CUDA 與 cudnn 版本

所需軟體:

.condarc

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
envs_dirs:
  - D:\ProgramData\Anaconda3\envs

創建個虛擬環境:
conda create -n tf

Visual Studio 2019

- Microsoft Visual C++ 2019 Redistributable
- Microsoft Build Tools 2019

CUDA 安裝完會自己添加環境變數，不用手動添加

cudnn需要登入下載，下載完解壓到 CUDA 的安裝目錄 “C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6”

檢查環境
nvidia-smi
nvcc -V

準備完畢。

我下載的是 CUDA11.6+cudnn8.x

這是當前驅動支持的最高 CUDA 版本

TensorFlow 安裝#

 conda activate tf

 pip install tensorflow-gpu:2.10.1

(tensorflow-gpu has been removed. Please install tensorflow instead. The tensorflow package supports GPU accelerated operations via Nvidia CUDA.)

目前官方已經取消 Windows 原生 tensorflow-gpu 的安裝包更新，最後可用的版本是 2.10.1。以後就得自己編譯了
說是 tensorflow 包可以已經可以調用 GPU，但是是在 WSL2 的子系統中

測試#

import tensorflow as tf
tf.__version__
tf.test.is_gpu_available()

可能出現的問題#

conda 建立虛擬環境時都是默認 C 盤，爆滿是遲早的事

添加環境目錄
conda config --append envs_dirs your_path
conda config --show envs_dirs

指定目錄下建立 conda 虛擬環境
conda create --prefix=D:/dev/envs/my_env
conda env list 查看虛擬環境是否存在

嫌上面太麻煩也可以直接把 C 盤的虛擬環境直接剪切到其他盤

Pytorch 安裝#

補充 pytorch 的安裝，CUDA+cudnn 安裝方式同上

看別人文章都是 conda 來裝我用 conda 很慢，用的 pip 來安裝挺快的。

分享個離線安裝的方式

清華大學 pytorch 安裝鏡像找到對應 pytorch 的 GPU 版，需要找三個壓縮包，分別是 pytorch,torchvision,torchaudio, 有版本限制，自行確認好。

我下的是這三個
pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
torchaudio-0.13.1-py310_cu116.tar.bz2
torchvision-0.14.1-py310_cu116.tar.bz2

conda install --offline pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
conda install --offline torchaudio-0.13.1-py310_cu116.tar.bz2
conda install --offline torchvision-0.14.1-py310_cu116.tar.bz2

驗證#

>>> torch.cuda.is_available()輸出 True

一些常用命令#

conda update conda
conda update anaconda
conda update --all

conda activate your_env_name 進入你的虛擬環境(your_env_name)

conda list 查看當前環境安裝了哪些包

conda deactivate 退出虛擬環境

conda env list 查看當前存在哪些虛擬環境

conda env remove --name your_env_name 刪除虛擬環境

conda config --show envs_dirs 查看當前的虛擬環境目錄

conda config --append envs_dirs your_envs_dirs_path 添加虛擬環境目錄(your_envs_dirs_path)

conda config --remove envs_dirs your_envs_dirs_path 刪除不用的虛擬環境目錄(your_envs_dirs_path)

補充#

官網提供的最後一版 Windows 原生 TensorFlow-GPU 安裝包 https://discuss.tensorflow.org/t/2-10-last-version-to-support-native-windows-gpu/12404

ARM MacBook 安裝 TensorFlow https://medium.com/mlearning-ai/install-tensorflow-on-mac-m1-m2-with-gpu-support-c404c6cfb580