大規模AIニーズに対応できるか、ベンチマークでNVIDIA GH200の可能性を探る

　AIの本格活用が始まり、AIモデルの大規模化が進む中、従来のGPUではメモリ不足により動作しないケースが増えている。だからといって限られた予算の中で、GPU調達を大規模化することは容易ではない。

　そこで注目されるのが、CPUメモリをGPUメモリのように扱うというアプローチだ。本資料では、新製品のNVIDIA GH200について、NVIDIA H100 PCIe、NVIDIA A6000と機械学習の学習性能を比較する形で実施したベンチマークテスト結果を掲載している。

　具体的には、Convolutional Neural Network（CNN）の学習ベンチマーク、CPU offloadあり／なしでのLoRAベンチマーク、CPU offloadでのInferenceベンチマークを実施した。本資料では、GPUの性能比較結果とCPUメモリ活用の可能性をチェックできるので、参考にしてほしい。