TensorRTとはAIでの推論を高速化するための仕組みです。
NVIDIAが提供しています。
トレーニングされた学習済みモデルは非常に複雑なネットワーク構造を持っている為、処理時間がかかってしまいます。
そのモデルを最適化して、処理を高速化することができます。
リソースが限られているエッジデバイスなどで有効な手段で
NVIDIAのJetsonシリーズには搭載されています。
精度は多少落ちるようですが、高速化による恩恵の方が大きいと思います。
Shader Model 5.0
Compute Capability 5.0
以降のNVIDIAハードウェアは対応しているとのことです。
