15分で学ぶ生成AI時代のDRAM、AIoTからHPCまでそれぞれに最適なメモリ選択とは

　生成AIのビジネス実装が進んでいるが、これには、生成AIを無理なく働かせるためのハードウェアが必要になる。ChatGPTの登場によってNVIDIAのGPUが注目を集めているが、生成AIの高性能化に伴って、モデルの複雑化やデータ量の増加、バッチサイズの拡大、多様なタスクのリアルタイム処理が進み、メモリへの要求も厳しくなっている。

　こうした要求に応えるメモリが、「HBM（High Bandwidth Memory）」だ。HBMは、高帯域幅、低レイテンシ、高消費電力効率などの特長を備えており、HPCや生成AIアプリケーションの領域で重宝されている。ただし、HBMはDRAMの中でも比較的高価だ。一方、LPDDR5は、HBMのパフォーマンスには及ばないものの、コスト面では分があり、AIoTでの活用に期待されている。

　一方で、生成AIの処理をエッジで分散させて、サーバの負荷を軽減させようという動きもある。そのため、エッジAIに最適なミッドレンジ用のメモリへの要求が高まっている。本動画では、生成AIを活用するために、ローエンドからハイエンドまで、各デバイスに最適なメモリについて解説する。