マルチGPUトレーニング戦略の選択

目次

1. マルチGPUトレーニングの概要
2. モデル並列処理
3. テンソル並列処理
4. データ並列処理
5. パイプライン並列処理
6. シーケンス並列処理
7. 実践的なマルチGPUトレーニング戦略の選択
8. DDPとDDP-shardedの使用
9. ディープスピードの戦略
10. 小規模なGPU数でのワークアラウンド

マルチGPUトレーニングの概要

マルチGPUトレーニングは、モデルのトレーニングを複数のGPUで並列に行うことで、トレーニングの高速化を実現する手法です。この記事では、マルチGPUトレーニングの概要と具体的な戦略について説明します。

1. モデル並列処理

モデル並列処理は、GPUメモリの制約によるもので、大きなモデルを異なるGPUに分割して処理する手法です。たとえば、PyTorchコードでは、異なる層を異なるGPU上で実行するために、異なるCUDAコールを使用することができます。ただし、実際には、この方法は推奨されていません。モデル並列処理よりも効果的な戦略が存在します。

2. テンソル並列処理

テンソル並列処理は、モデル並列処理と関連していますが、異なる点はレイヤーを水平方向に分割することです。モデル並列処理では、異なる層が異なるGPU上に配置され、逐次的なボトルネックが作成されます。テンソル並列処理では、演算を並列に行い、より効率的に処理することができます。たとえば、行列の乗算の例を考えてみましょう。行列の右側に2つの列がある場合、それを並列に処理できる2つの行列乗算の問題に分割します。2つの結果を結合することで、元の結果を得ることができます。これにより、マルチGPUトレーニングの戦略として非常に効率的に処理できます。

3. データ並列処理

データ並列処理は、GPUメモリの制約を解消するためではなく、トレーニングのスループットを向上させるために使用されます。バッチを複数のデータに分割し、並列にモデルをトレーニングします。たとえば、モデルのコピーを2つ作成し、1つを1つのGPUに配置し、もう1つを別のGPUに配置することができます。異なるデータポイントを使用して、両方のモデルを並列にトレーニングし、モデルを更新する際に勾配を平均化します。これにより、データをより早く処理することができます。

4. パイプライン並列処理

パイプライン並列処理は、データ並列処理とモデル並列処理の組み合わせであり、モデルを異なるブロックに分割します。異なるブロックは、左から右に順番に実行されます。たとえば、レイヤー1がGPU4にある場合、まずGPU4で計算が行われます。次に、GPU3でレイヤー2、GPU2でレイヤー3、最後にバックワードパスの準備のためにGPU1で最後のレイヤーが行われます。パイプライン並列処理は、並列処理能力を最大限に活用するために最適化されており、計算のオーバーラップが増えます。

5. シーケンス並列処理

シーケンス並列処理は、トランスフォーマーモデルに特化したもので、メモリ制約に対処するために入力シーケンスを複数のGPUに分割します。これまで説明したマルチGPUトレーニングの戦略を紹介しましたが、実際にはどの戦略を使用すべきでしょうか？一般的には、分散データ並列を使用することをお勧めします。分散データ並列を使用するには、単純に strategy=DDP と設定するだけです。ただし、一部の環境ではピクリングの問題が発生する場合がありますので、その場合は DDP spawn を使用する必要があります。ピクリングの問題がない限り、DDPの使用をお勧めします。マルチGPUトレーニングの際に、モデルがGPUメモリに合わない場合は、DDP shardedを使用することも検討してください。

ディープスピード戦略は、DDP shardedの代替手段としても使用できます。ディープスピードステージ2では、オプティマイザと勾配をシャードします。これでもメモリ制約に対処できない場合は、ステージ2 offload戦略を使用できます。ただし、CPUメモリへの転送により処理が遅くなるため、メモリ制約がない場合は、offload戦略を使用しないことをお勧めします。

GPU数が少なく、トレーニング速度が大きな問題ではない場合、例えば、大規模なデータセットでのファインチューニングなどの場合、1つまたは少数のGPUを使用する場合もあります。その場合は、ディープスピードステージ3戦略を使用することをお勧めします。ディープスピードステージ3では、オプティマイザ、勾配、重みパラメータをすべてシャードします。また、ディープスピードステージ3戦略の代替手段として、FSDP（完全シャードデータ並列）もあります。どちらが速いかは、マシンによって異なりますので、それぞれ試してみることをお勧めします。

この記事では、マルチGPUトレーニングの概要と具体的な戦略について説明しました。実践的な戦略の選択についてもいくつかの推奨事項を示しました。次のビデオでは、データ並列処理についてより詳しく説明します。

FAQ:

Q: パイプライン並列処理とは何ですか？ A: パイプライン並列処理は、データ並列処理とモデル並列処理を組み合わせたもので、モデルを異なるブロックに分割します。異なるブロックは、左から右に順番に実行されます。

Q: DDP-shardedとは何ですか？ A: DDP-shardedは、DDP（分散データ並列）の派生形であり、テンソル並列処理も組み合わせた手法です。テンソルの分割を行うことで、GPUメモリの制約に対処することができます。

Q: メモリ制約なしでトレーニングを行うにはどの戦略を使用すべきですか？ A: メモリ制約がない場合は、DDPを使用することをお勧めします。DDP shardedやディープスピードなどの戦略も検討することができますが、DDPが最も高速な処理が期待できます。

Q: 小規模なGPU数でのワークアラウンドとは何ですか？ A: GPU数が少ない場合、ディープスピードのステージ3戦略やFSDP（完全シャードデータ並列）などの戦略を使用することをお勧めします。これにより、モデルのトレーニングを効率的に行うことができます。

リソース:

• PyTorch 公式ドキュメンテーション