要約
中国の人工知能スタートアップDeepSeekが、創業者のLiang Wenfengと共同執筆した新しい技術論文を発表し、基礎となるAIモデルを訓練するための基本的なアーキテクチャの見直しを提案。この手法は、DeepSeekが米国の競合他社に追いつくためにモデルを効率化しよりコスト効果的にする取り組みの一環であり、中国のAI企業の間でますますオープンで協力的な文化が広まっていることを反映している。
背景情報
- DeepSeekは中国の人工知能スタートアップであり、Liang Wenfengが創業者である。
- 提案された手法であるManifold-Constrained Hyper-Connections（mHC）は、3つの異なるパラメータ数を持つモデルでテストされ、従来のHC（ハイパーコネクション）と比較して優れたスケーラビリティを実現した。
- Hyper-connectionsは、2015年にMicrosoft Research Asiaの科学者によって導入されたResNet（残差ネットワーク）の変更案として、ByteDanceの研究者によって最初に提案された。
今後の影響
– DeepSeekの技術論文は、次世代モデルの技術的方向を示す重要なシグナルとなる。
– 業界では、DeepSeekが春節休暇前に次の主要モデルをリリースする可能性が高いと期待されている。
– mHCは現在の制約を克服し、次世代の基本的なアーキテクチャの進化に新たな道を開く可能性がある。
