NVIDIA、パートナー企業がBlackwell上でオープンソースモデルによりAIコストを最大10倍削減

NVIDIAは、Baseten、DeepInfra、Fireworks AI、Together ComputeがNVIDIA Blackwellプラットフォーム上でオープンソースモデルを実行することで、AIコストを最大10倍削減している点を紹介した。

トークンは、医療インサイト、ゲームキャラクターの対話、自動化カスタマーサポート、エージェント型チャットなど、あらゆる分野のAIインタラクションの基盤を形成する。AIアプリケーションが拡大する中、より多くのトークンを手頃な価格で入手することが課題となる。NVIDIAのスレッドでは、トークンの経済学である優れたトークノミクスを解決策として提案している。

トークンあたりのコストは、AIインフラの費用とそのトークン出力全体に依存する。優れたインフラ効率は、より多くのトークンを生み出し、より良い印刷機が最適化されたインクとエネルギーで多くのページを生成するのと同様に、トークンあたりのコストを直接低下させる。これにより、AIがよりアクセスしやすくなる。

Baseten、DeepInfra、Fireworks AI、Together Computeなどの主要AI推論プロバイダーは、これらの利点を活かすため、プラットフォームをBlackwell向けに最適化している。BlackwellはNVIDIAの最新GPUアーキテクチャで、高スループットの推論ワークロードに優れ、オープンソースモデルによる大幅な効率向上を実現する。

NVIDIAは、これらの最適化を詳述した最近のブログ記事を指し示し、インフラ進化がトークノミクスを向上させ、各産業でのAIイノベーションを促進すると強調している。