機械学習（ディープラーニング）用の業界標準ベンチマーク「MLPerf」が登場！

情報ガイドステーションメニュー

	｜機械学習（ディープラーニング）用の業界標準ベンチマーク
	「MLPerf」が登場！

インフラエンジニアが事前にサーバー選定する際のパフォーマンス指標として利用されるのが「SPEC」かと思います。

SPEC：コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体（Dellも参画）。SPECint、SPECfpなどの性能指標を参考にインフラエンジニアは機器（サーバー）選定を行います。

機械学習（ディープラーニング）においてはこの「SPEC」は参考となりません。何故なら、ディープラーニングにおいては学習と推論で要件も異なりますし、アクセラレーター（CPU/GPU/FPGA/IPUなど）の種類によって仕組みも大きく異なるので、事前の性能比較が難しい状況でした。

※AI専用チップのIPUについてはDSS8440の紹介記事を参照。

そこで機械学習（ディープラーニング）の世界においても容易に性能比較が出来るように、DellEMC、Google、IntelなどのIT企業と UC Berkeley（カリフォルニア大学バークレー校）や米スタンフォード大学などの大学・研究機関などが連携して策定した機械学習ベンチマーク「MLPerf」が策定されてきました。

MLPerf
https://mlperf.org/

DellEMCでは、早速この「MLPerf」でのベンチマーク結果をブログで展開しています。

<学習側>
Deep Learning Performance on V100 GPUs with MLPerf Training v0.6 Benchmarks
https://www.dell.com/support/article/jp/ja/jpbsd1/sln319504/deep-learning-performance-on-v100-gpus-with-mlperf-training-v0-6-benchmarks?lang=en

ハードウェアは1Uに4台のGPU（NVIDIA V100）搭載可能なC4140を利用。

MLPerf Training v0.6では現在５つの分野でベンチマークが可能です。本ブログでは画像認識と物体認識（ResNet-50、SSD、Mask-R-CNN）に焦点を当てたベンチマーク結果となっております。

<推論側>
Deep Learning Performance on T4 GPUs with MLPerf Inference v0.5 Benchmarks
https://www.dell.com/support/article/jp/ja/jpbsd1/sln319502/deep-learning-performance-on-t4-gpus-with-mlperf-inference-v0-5-benchmarks?lang=en

ハードウェアはR740に4台のGPU（NVIDIA T4（最大で6枚搭載可能））を搭載。

MLPerf Inference v0.5ではシナリオとして4つのシナリオに分かれます。サーバー、オフラインはデータセンター環境（シナリオ）を想定、シングルストーム、マルチストームはエッジ環境（シナリオ）を想定されています。本ブログではデータセンター環境（シナリオ）に焦点を当てて、上図の分野（画像認識、物体認識、翻訳）全てを実施したベンチマーク結果となっております。

機械学習（ディープラーニング）においてのハードウェア選定の参考にしてみて下さい。

また、確かにパフォーマンスは重要ですが、サーバーを選定する上で運用・管理面（システムのサイロ化を防ぐ。統合的なシステム管理が望ましい）やサポート（ネットワーク機器などの他コンポーネント含めて、一元的な窓口が望ましい）も非常に重要です。このポイントもハードウェア選定の要素として抑えておく必要があります。情報ガイドステーションでは、システムマネジメントやサポートなどの情報もまとめて紹介しておりますので、こちらも是非参考にしてみて下さい。

System Management
https://japancatalog.dell.com/c/ent_SystemManagement/
Support & Service & Tools
https://japancatalog.dell.com/c/ent_Service_Support/

パートナーセールスエンジニア中村　智宏

関連記事はこちら

おすすめ記事