AI環境でGPUリソースを有効活用　BitfusionでGPUのメモリ分割

情報ガイドステーションメニュー

	｜ AI環境でGPUリソースを有効活用
	BitfusionでGPUのメモリ分割

こんにちは。デル・テクノロジーズでAI関連ソリューションを担当している山口です。
前回はBitfusionの利用用途と利用方法をご紹介しました。利用方法としてはBitfusionクライアント側での基本コマンドの使い方でしたが、今回はもう少し便利な使い方をご紹介します。

Bitfusionコマンド&デモ動画

前回は次のコマンドでのBitfusion利用法をご紹介しましたが、実行イメージをつかんでもらえるようにデモ動画(2分弱)を用意しました。

動画内でも利用していたコマンドでは利用するGPU数と実行するコードを指定しているので、GPU数は1枚単位で利用することになります。これだけでも複数のBitfusionクライアントから利用できるのでとても便利なのですが、V100やV100SなどのGPUを搭載している環境でGPUは必要だけどV100Sをまるまる1枚使うほどじゃないのにGPUを占有するのはもったいないですよね。そういった場合にBitfusionでは必要な分だけGPUメモリを分割して利用することができます。

GPUメモリ分割方法

BitfusionでGPUメモリを分割して利用する場合、パーセンテージ(%)もしくはメモリサイズ(MB)で分割・利用することができます。例えばV100(32GBメモ)の25%の利用や、6GB(6144MB)を利用するなど、柔軟に分割・指定することが可能です。しかも分割方法は、”-p”や “-m”の引数と数値を加えるだけなので簡単に利用することができます。

<例1：割合指定>

<例2:サイズ指定>

どうでしょうか？　上の図で示したように割合でもサイズでも簡単に必要な分だけ簡単に利用できるのをイメージしていただけるのでないでしょうか。
このようにGPUメモリを分割して利用できるので必要以上にGPUを占有することもなくなります。例えば例1のように60%利用していても、残りの40%を別のジョブやユーザが利用することもできるのでGPUを有効活用でき、業務効率も上げることを期待できます。

複数GPUでのメモリ分割

GPUメモリの分割は複数のGPUを指定した場合でも利用することができます。利用方法は次の図にあるように-nで必要なGPU数と、-pまたは-mで利用するGPUメモリ量を指定するだけなのでとても簡単なのは理解いただけるのではないでしょうか。

複数GPUの指定でも、1枚のGPUだと少ない、2枚だと多いといった場合に60%*2枚でGPU1.2枚分利用することができます。

また、次のように複数のジョブやユーザが同時に利用している環境などでは、利用したいGPUリソース、下の例では8GB利用したい場合にGPU1枚で8GB確保できない場合に、複数GPUから4GBずつ確保して合計8GBを利用することもできるので、GPUが空くのを待つ必要もありません。

今回はGPUメモリ分割についてご紹介しましたが、より一層Bitfusionに興味をもっていただけたのではないでしょうか。当社田町オフィスのCustomer Solution Center内のAI Experience Zoneで実際にBitfusionをご覧いただくこともできますので、導入検討される際には当社までご連絡ください。

Dell Technologies
製品本部
シニアシステムエンジニア
山口泰亜
2020/12/22

関連記事はこちら

おすすめ記事