每經(jīng)編輯 金冥羽    

2月18日，DeepSeek在海外社交平臺(tái)發(fā)布了一篇純技術(shù)論文報(bào)告，論文主要內(nèi)容是關(guān)于NSA（Natively Sparse Attention，原生稀疏注意力）。

據(jù)介紹，NSA專為長文本訓(xùn)練與推理設(shè)計(jì)，能利用動(dòng)態(tài)分層稀疏策略等方法，通過針對現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，顯著優(yōu)化傳統(tǒng)AI模型在訓(xùn)練和推理過程中的表現(xiàn)，特別是提升長上下文的推理能力，在保證性能的同時(shí)提升了推理速度，并有效降低了預(yù)訓(xùn)練成本。

在這篇名為《原生稀疏注意力：硬件對齊且可原生訓(xùn)練的稀疏注意力機(jī)制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的論文署名中，DeepSeek創(chuàng)始人兼CEO梁文鋒也作為共創(chuàng)在列。

其他研究人員來自DeepSeek、北大和華盛頓大學(xué)，其中第一作者Jingyang Yuan（袁景陽）是在DeepSeek實(shí)習(xí)期間完成的這項(xiàng)研究。

值得一提的是，今日中午12點(diǎn)（太平洋時(shí)間17日晚8點(diǎn)），馬斯克旗下AI公司xAI發(fā)布了Grok 3及其精簡版Grok 3 mini。發(fā)布會(huì)采用視頻直播形式，觀看人數(shù)超過100萬人。

圖片來源：直播截圖

Grok 3是xAI對OpenAI的o3-mini和DeepSeek的R1等模型的回應(yīng)，它可以分析圖像和回答問題，并為X上的許多功能提供支持。此前馬斯克在X上造勢稱，Grok 3是“地球上最聰明的人工智能”。

在此次直播中，馬斯克透露，實(shí)際上，到訓(xùn)練進(jìn)行到92天時(shí)，集群的規(guī)模已經(jīng)擴(kuò)大到了20萬塊GPU。

編輯|金冥羽?杜波

校對|陳柯名

封面圖片來源：視覺中國

每日經(jīng)濟(jì)新聞綜合自券商中國、財(cái)聯(lián)社、公開資料等