DeepSeek发布NSA技术论文：原生稀疏注意力机制优化长文本训练与推理

时间：2025-02-19 08:02作者：admin分类：大千世界浏览：274评论：0

2月18日，DeepSeek在海外社交平台发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力）。

据介绍，NSA专为长文本训练与推理设计，能利用动态分层稀疏策略等方法，通过针对现代硬件的优化设计，显著优化传统AI模型在训练和推理过程中的表现，特别是提升长上下文的推理能力，在保证性能的同时提升了推理速度，并有效降低了预训练成本。

刚刚！DeepSeek重大发布！梁文锋参与共创！__刚刚！DeepSeek重大发布！梁文锋参与共创！

在这篇名为《原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力机制》（Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention）的论文署名中，DeepSeek创始人兼CEO梁文锋也作为共创在列。

刚刚！DeepSeek重大发布！梁文锋参与共创！__刚刚！DeepSeek重大发布！梁文锋参与共创！

其他研究人员来自DeepSeek、北大和华盛顿大学，其中第一作者Jingyang Yuan（袁景阳）是在DeepSeek实习期间完成的这项研究。

值得一提的是，今日中午12点（太平洋时间17日晚8点），马斯克旗下AI公司xAI发布了Grok 3及其精简版Grok 3 mini。发布会采用视频直播形式，观看人数超过100万人。

Grok 3是xAI对OpenAI的o3-mini和DeepSeek的R1等模型的回应，它可以分析图像和回答问题，并为X上的许多功能提供支持。此前马斯克在X上造势称，Grok 3是“地球上最聪明的人工智能”。

在此次直播中，马斯克透露，实际上，到训练进行到92天时，集群的规模已经扩大到了20万块GPU。

编辑|金冥羽杜波

校对|陈柯名

继续浏览有关 NSA DeepSeek 人工智能的文章

文章评论