創屋ぷれす

TensorRTとは

TensorRTとはAIでの推論を高速化するための仕組みです。
NVIDIAが提供しています。

トレーニングされた学習済みモデルは非常に複雑なネットワーク構造を持っている為、処理時間がかかってしまいます。
そのモデルを最適化して、処理を高速化することができます。

リソースが限られているエッジデバイスなどで有効な手段で
NVIDIAのJetsonシリーズには搭載されています。

精度は多少落ちるようですが、高速化による恩恵の方が大きいと思います。

Shader Model 5.0
Compute Capability 5.0
以降のNVIDIAハードウェアは対応しているとのことです。

Comments are closed.