ONNX Runtimeとは？最新情報とハードウェアの発表をチェック！

AIショーのエピソードにお楽しみください！

このAIショーのエピソードでは、AIフレームワークの主任プログラムマネージャー、マナッシュ・ゴスワミ氏がONNX Runtimeについて語ります。ONNX Runtimeとは何か、最新情報や驚くべきハードウェアの発表など、詳しくお伝えします。ヒント：パートナーやFPGA、スペシャルゲストも登場します。お楽しみに！

ONNX Runtimeについて

ONNX Runtimeとは、MicrosoftのAIフレームワークチームのプログラムマネージャーであるマナッシュ・ゴスワミ氏が紹介する、Xilinxとの連携によるONNX Runtimeの統合についてのオンデマンドセッションです。ONNXとは、トラディショナルなMLおよびDNNモデルのためのオープンソースフォーマットであり、異なるトレーニングフレームワークからONNXへの変換が可能です。この共通のモデルフォーマットにより、データサイエンスチームは開発やトレーニングにおいて自由なツールの選択ができる一方で、デプロイや実行においても共通の方法でモデルを表現できます。

ONNX Runtimeの特徴

ONNX Runtimeは、ONNXモデルを実行するためのオープンソースの推論エンジンです。パフォーマンス、拡張性、スケーラビリティに焦点を当てて設計されており、クラウドやエッジにおけるプロダクションソリューションとして重いワークロードやトラフィックをサポートします。ランタイムはONNX仕様で定義されているすべてのオペレータを実装するために最適化されており、したがって、どのバリッドなONNXモデルでも実行できます。ランタイムは前方と後方の互換性を持っており、モデルがオフセットの新しいバージョンにアップデートされると、ONNX Runtimeで実行できます。

実行プロバイダーの利用

ONNX Runtimeは、実行プロバイダーインタフェースと呼ばれるこの拡張可能なログインインタフェースをサポートしており、このインタフェースを介して異なるハードウェア最適化環境でモデルを実行できます。各ハードウェアプラットフォームの実行プロバイダーを構築することで、ハードウェアプラットフォームがONNX Runtimeと統合することができます。タイトルに述べられているように、MicrosoftとXilinxは連携し、XilinxのFPGAソリューションにONNX Runtimeを統合しています。

Azureでの利用とVitis AI

ONNX Runtimeは、Windows 10のML実行環境であるWinMLに統合されています。Azureでは、Azure Marketplaceで提供されるXilinxを利用したVMイメージにより、事前に構築されたソフトウェアライブラリを簡単にデプロイすることができます。Azure上のVMやオンプレミスおよびエッジデバイスでも、XilinxのFPGAを使用したONNX RuntimeやVitis AIスタックを実行できます。この統合により、最新のアクセラレータの開発を追い求めることなく、クラウドのパワーを利用することが可能となります。

Peakspeedとのコラボレーション

Peakspeedは、MicrosoftのNP Series Azure VMを使用して、FPGAを活用した高性能コンピューティングを実現しています。それにより、TrueViewなどのモデルが大幅に高速化され、YOLOv3モデルのパフォーマンスもGPUインスタンスと比較して向上しました。これにより、顧客はTCOの削減とより速い応答時間を実現することができます。ONNX RuntimeとVitis AIスタックの統合により、Peakspeedはさまざまなアクセラレーションプラットフォームをターゲットにすることができます。

この統合を利用するには、ソースからONNX RuntimeとVitis AIの統合をビルドする必要があります。実行プロバイダーやソフトウェアライブラリの統合はAzure Marketplaceで提供されるVMイメージで簡単にデプロイすることができます。Peakspeedは、MicrosoftとXilinxとのコラボレーションを通じて、Azure NPシリーズFPGAプラットフォームでのパフォーマンス向上を実現しました。

それでは、お楽しみください！