EDITORIAL NOTE / 01

研究者称DeepSeek等模型用被禁英伟达芯片训练

一篇文章,一次完整了解。我们将重要信息、背景脉络与专业观点整理在这里。

研究者称DeepSeek等模型用被禁英伟达芯片训练 FIELD
REPORT

FULL STORY / 02

研究者称DeepSeek等模型用被禁英伟达芯片训练

江南体育·(JIANGNAN)官方网站编辑部 501 阅读 约 5.5 分钟

本篇体育资讯由江南体育整理:

美国对英伟达、AMD高端AI加速芯片的对华出口管制,最近又起了几道波折。

抛开黄仁勋那边的纷扰不谈,业内一个公开的秘密是:英伟达的Blackwell芯片总能以某种方式进入中国,无论是实体的还是虚拟的。

独立研究机构UnemploymentLabs给出了有力证据,称这些芯片被用于训练中国的开放权重模型,包括DeepSeek V4、Kimi K3.

1、MiniMax-M3和Ling-3.

1-Flash。

研究者对结论保持了谨慎措辞:数学推导站得住脚,但它并不能揭示芯片位于何处、通过何种方式被访问,也无法证明出口管制被违反。

就目前公开信息看,中国企业在境外租用Blackwell硬件并不违法;

即便英伟达的口子越收越紧,美国公司也未被严格禁止这样做,腾讯与甲骨文近期的交易就是一例。

这套识别方法只适用于开放权重的模型,且依赖训练所用的硬件与软件栈组合。

方法本身既巧妙又简单,堪称哥伦布竖鸡蛋。

先立几个基本事实。

第一,不同AI加速器家族的着色器模块(SM)数量各不相同,大致可类比CPU核心:英伟达Hopper芯片有132个,Blackwell B系列有148个,Blackwell GB系列则是152个。

第二,训练AI模型的软件栈不止一种,但在英伟达硬件上,PyTorch及其CUDA生态相关工具是绝对主流。

训练模型的第一步是初始化权重,也就是模型对每个输入赋予多大权重。

在现代大语言模型架构中,初始化要经过随机化步骤,用cuRAND把数值做正负伪随机调整——随机,但给定一个种子起始值,每次得到的调整数值完全相同。

对整个模型做这件事计算量很大,因此过程会分摊到所有SM上,再细分为线程。

对于大规模权重集,Blackwell和Hopper芯片每个SM的线程数是2048,这个数字显然是经过精心选择和优化的。

研究者用相同的芯片、软件和线程数复现了初始化过程。

经过相对简单的统计分析,他们发现最终权重值的统计分布与DeepSeek、Kimi等模型精确吻合。

作为对照,他们改动SM数量和线程数,相关性如预期般彻底瓦解。

由此,他们能辨认出每个模型使用了哪一族Blackwell/Hopper芯片,并进一步估算出所用显卡的大致数量。

但具体是哪一款变体产出了这些权重,他们无法锁定——因为分析只与初始化布局数量挂钩,也就是SM数量和使用模式,而不涉及显存容量、内存带宽等区分单卡的其他特征。

about image

那AMD的MI300X,或者其他SM数量足够高、跑同一套软件栈的芯片呢?

研究者表示,把AMD卡配置成呈现为两组152或148个着色器并非不可能,尽管看不出有什么理由这么做。

针对DeepSeek V4,他们还通过分析权重值本身排除了这种可能,发现AMD卡依然无法产生相同的权重值模式。

特别

以上内容由江南体育整理发布。

分享这篇内容

让更多人看到有价值的信息

YOU MAY ALSO LIKE / 03

推荐阅读