【最初の一歩】NVIDIA TensorRT の簡単インストール手順（スクリーンショットで解説）

当ページのリンクには広告が含まれています。

生成AI においては、CUDA ToolKit と cuDNN　をインストールすることで、極めて高い処理能力を発揮してくれます。

しかし、NVIDIAの業務用、および一部の民生用GPUにおいては、TensorRT と呼ばれるライブラリをインストールすることで、更に性能を高めることができます（ただし生成AI側が対応している必要あり）。

この記事では、TensorRTのインストール方法についてスクリーンショット付きで解説します。

TensorRTとは

深層学習（ディープラーニング）に必要となる大量の計算は、GPUに搭載されている数千個～１万個のCUDA コアを使うことが一般的です。

そして、このCUDAコアを使うために必要なのが　CUDA ToolKit　および　 cuDNN というライブラリ群です。

一方、業務用のGPU（Tesla、Quadroなど）や民生用のRTX シリーズ（RTX-20xx,30xx,40xx）のGPUには、AI向け行列計算専門のハードウェアユニットであるTensor コアが搭載されており、これを活用することで、ディープラーニングの計算性能が向上します。

TensorRTはディープラーニング推論の高速化と最適化を支援するライブラリであり、Tensor コアを有効活用することで、より高速で効率的な推論が可能となります。

ただし、生成AI側がTensorRTに対応していないと Tensorコアは全く使われないので、インストールする場合はその点を確かめておきましょう。

TensorRTのインストール手順は次の通りです。

つまり、公式サイトからZIPファイルをダウンロードし、解凍した結果の binフォルダの中身を、CUDAのインストール先フォルダの bin フォルダにコピーするだけです。

次のリンクをクリックし、公式サイトに移動してください。

公式サイトに移動したら、「Download Now」をクリックします。

次に、ダウンロードしたい TensorRTのバージョンを選択します。今回は TensoRT 8を選択しました。

次の画面に移動しますので、図に従ってチェックを入れます。

次の画面が表示されるので、マイナーバージョンを選択してください。
末尾のGA（General Availability）は一般公開されているバージョンを意味し、EA（Early Access）は最新機能をいち早く体験できる（ベータ版）バージョンを意味します。

ここは常に最新版を選んでおけばよいでしょう。

クリックすると次の画面のように折り畳みが開きます。
インストールされているCUDAバージョンに合わせて上下のどちらかを選択してください。

私の環境では CUDA 12.4 と 11.8 の両方をインストールしていますが、今回は 11.8（下記のZIPファイル）をダウンロードしました。

TensorRT-8.6.1.6.Windows10.x86_64.cuda-11.8.zip

ダウンロードしたファイルを展開すると次のフォルダ構成になります。

インストール方法については、次の公式サイトに詳しく記載されています。書かれていることは多いのですが、やりたいことは単純で、解凍後の　bin フォルダに環境変数のパスを設定するだけです。

本記事では、TensorRTのインストール手順について紹介しました。
TensorRTは業務用及びRTXシリーズのGPUに搭載されている行列計算専用コアを利用するためのツールキットで、次の３ステップでインストールが可能です。

ただし、生成AI側が TensorRTに対応していないと、せっかくの苦労が無駄になるのでご注意ください。