NVIDIA Triton Inference Server
Triton(トリトン)は、ギリシャ神話にでてくるたくましい海の神。
このNVIDIA社製の Tritonは、たくましものなのでしょうか?
NVIDIA AI のプラットフォームで、
オープンソース、簡単にAIが実装できるサーバーです。
あらゆるGPU または CPU ベースで、
あらゆるフレームワーク(TensorFlow、Pytorchなど)から、
あらゆる種類の学習済み済みAIモデルを展開、実行、スケーリングできる。
AI推論を合理化および標準化する。と謳われています。
NVIDIA GTC(開発者向け エンジニア、研究者、ITの専門家が一堂に会するカンファレンス)では、実用に向けた事例がたくさんあるようでした。