NVIDIA NeMo Megatron フレームワーク、カスタマイズ可能な Megatron 530B 大規模言語モデル、マルチ GPU とマルチ ノードに対応した Triton Inference Server が ...

現在、Megatron 530Bは世界最大のカスタマイズ可能な言語モデルとなっています。 ※以下は添付リリースを参照 ※参考画像は添付の関連資料を参照 ...

このシステムを9日間稼働させたということは、2万7648キロワット時の電力量をMegatron-LMのトレーニングに消費したということになる。