機械学習環境の構築

💻: Razer blade 15 2018

OS: Windows 10

準備#

最新の CUDA と cudnn のバージョンを公式ウェブサイトで確認します

必要なソフトウェア:

.condarc

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
envs_dirs:
  - D:\ProgramData\Anaconda3\envs

仮想環境を作成します:
conda create -n tf

Visual Studio 2019

Microsoft Visual C++ 2019 Redistributable
Microsoft Build Tools 2019

CUDAをインストールすると、環境変数が自動的に追加されます。

cudnnはダウンロードするためにログインが必要です。ダウンロード後、CUDA のインストールディレクトリ「C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6」に解凍します。

環境を確認する
nvidia-smi
nvcc -V

準備完了。

私は CUDA11.6+cudnn8.x をダウンロードしました

これは現在のドライバがサポートする最新の CUDA バージョンです。

TensorFlow のインストール#

conda activate tf

pip install tensorflow-gpu:2.10.1

(tensorflow-gpu は削除されました。代わりに tensorflow をインストールしてください。tensorflow パッケージは Nvidia CUDA を介した GPU アクセラレートされた操作をサポートしています。)

現在、公式では Windows ネイティブの tensorflow-gpu のインストールパッケージの更新は終了しました。最後に使用可能なバージョンは 2.10.1 です。今後は自分でコンパイルする必要があります。
tensorflow パッケージは WSL2 のサブシステムで GPU を使用できると言われています。

テスト#

import tensorflow as tf
tf.__version__
tf.test.is_gpu_available()

問題が発生する可能性があります#

conda で仮想環境を作成すると、デフォルトでは C ドライブに作成されますが、容量がいずれ満杯になります。

環境ディレクトリを追加する
conda config --append envs_dirs your_path
conda config --show envs_dirs

指定したディレクトリに conda 仮想環境を作成する
conda create --prefix=D:/dev/envs/my_env
conda env listで仮想環境が存在するか確認します。

上記の手順が面倒な場合は、C ドライブの仮想環境を別のドライブに移動することもできます。

Pytorch のインストール#

Pytorch のインストール方法は CUDA+cudnn のインストール方法と同じです。

他の記事を見ると conda を使用してインストールするようですが、私は conda が遅いので、pip を使用してインストールしました。

オフラインインストールの方法を共有します

清華大学 pytorch インストールミラーで、対応する GPU 版の pytorch を探します。3 つの圧縮ファイルを見つける必要があります。pytorch、torchvision、torchaudio にはバージョンの制限がありますので、確認してください。

私はこれら3つをダウンロードしました
pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
torchaudio-0.13.1-py310_cu116.tar.bz2
torchvision-0.14.1-py310_cu116.tar.bz2

conda install --offline pytorch-1.13.1-py3.10_cuda11.6_cudnn8_0.tar.bz2
conda install --offline torchaudio-0.13.1-py310_cu116.tar.bz2
conda install --offline torchvision-0.14.1-py310_cu116.tar.bz2

検証#

>>> torch.cuda.is_available()を実行して True が返されることを確認します。

一部の一般的なコマンド#

conda update conda
conda update anaconda
conda update --all

conda activate your_env_name 仮想環境に入る(your_env_name)

conda list 現在の環境にインストールされているパッケージを表示する

conda deactivate 仮想環境を終了する

conda env list 現在存在する仮想環境を表示する

conda env remove --name your_env_name 仮想環境を削除する

conda config --show envs_dirs 現在の仮想環境ディレクトリを表示する

conda config --append envs_dirs your_envs_dirs_path 仮想環境ディレクトリを追加する(your_envs_dirs_path)

conda config --remove envs_dirs your_envs_dirs_path 不要な仮想環境ディレクトリを削除する(your_envs_dirs_path)

追加情報#

公式ウェブサイトで提供されている最後の Windows ネイティブ TensorFlow-GPU インストールパッケージ https://discuss.tensorflow.org/t/2-10-last-version-to-support-native-windows-gpu/12404

ARM MacBook に TensorFlow をインストールする https://medium.com/mlearning-ai/install-tensorflow-on-mac-m1-m2-with-gpu-support-c404c6cfb580