要約
MicrosoftがAI推論向けの新しいカスタム推論アクセラレータ「Maia 200」を導入。このシリコンはAIトークン生成の経済性を向上させることを目的とし、AI推論に特化した最初のシリコンとシステムプラットフォームとして位置付けられている。Microsoftは、異なる推論プロファイルに調整されたAzureのポートフォリオが必要であると主張している。
背景情報
- MicrosoftがMaia 200という新しいカスタム推論アクセラレータを導入
- MaiaはAI推論の経済性を向上させることを目的とし、AI推論に特化したシリコンとシステムプラットフォーム
- Maiaは狭い精度の実行、オンダイSRAMとHBM3eを組み合わせたメモリ階層、データ移動のカスタムNoCとマルチティアDMAを特徴とする
- MicrosoftはMaiaをソフトウェア、シリコン、システム、データセンターにわたるフルスタックアプローチとして位置付け
今後の影響
– AI推論の経済性向上
- Maia 200はAIトークン生成の経済性を向上させることを目的としており、高い性能を持ちながらコスト、遅延、エネルギーのバランスを取ることができる
– Azureのポートフォリオ拡充
- Microsoftは異なる推論プロファイルに調整されたAzureのポートフォリオが必要であると主張しており、Maiaをその一環として位置付けている
– 高性能な推論クラスタの構築
- Maiaは2.8TB/sの双方向帯域幅を持つイーサネットベースのインターコネクトを統合し、最大6,144のアクセラレータをサポートするため、大規模な推論クラスタの構築を可能にしている
