NVIDIA Blackwell Ultra GB300、長文コンテキストオープンソース推論で1.5倍低い遅延と1.87倍高いユーザー throughput を達成

LMSYS組織による新ベンチマークが、NVIDIAのBlackwell Ultra GB300ラックの長文コンテキストオープンソース推論における優れた性能を示している。これらのラックは、前世代のGB200システム比で最大1.5倍低い遅延と1.87倍高いユーザー throughput を実現する。

この優れた結果は、高度な並列化手法、精度最適化、智能スケジューリング方法によって駆動されている。これらはNVIDIA Dynamoにより完全に調整され、大規模AI展開での最大性能と効率を確保する。

NVIDIAのBlackwellプラットフォームは、同社の最新AIアクセラレータで、Hopperアーキテクチャの後継である。GB300ラック構成は複数のBlackwell Ultra GPUを統合し、特に大規模言語モデルなどの拡張コンテキストを扱う高負荷推論ワークロードに最適化されている。

AIモデル評価で知られるLMSYS（Chatbot Arenaなどで有名）がこれらのベンチマークを実施し、現実世界の推論性能を評価した。オープンソースモデルに焦点を当て、NVIDIAソリューションのAIコミュニティ全体への拡張性を強調している。

NVIDIAはソーシャルメディア投稿でこれらの結果を強調し、Wccftechの詳細な報道へのリンクを提供した。この発表は、NVIDIAのAIインフラにおけるリーダーシップを再確認し、次世代アプリケーションの高速・効率的な処理を可能にする。