FULL STORY / 02
研究者称DeepSeek等模型用被禁英伟达芯片训练
本篇体育资讯由江南体育整理:
美国对英伟达、AMD高端AI加速芯片的对华出口管制,最近又起了几道波折。
抛开黄仁勋那边的纷扰不谈,业内一个公开的秘密是:英伟达的Blackwell芯片总能以某种方式进入中国,无论是实体的还是虚拟的。
独立研究机构UnemploymentLabs给出了有力证据,称这些芯片被用于训练中国的开放权重模型,包括DeepSeek V4、Kimi K3.
1、MiniMax-M3和Ling-3.
1-Flash。
研究者对结论保持了谨慎措辞:数学推导站得住脚,但它并不能揭示芯片位于何处、通过何种方式被访问,也无法证明出口管制被违反。
就目前公开信息看,中国企业在境外租用Blackwell硬件并不违法;
即便英伟达的口子越收越紧,美国公司也未被严格禁止这样做,腾讯与甲骨文近期的交易就是一例。
这套识别方法只适用于开放权重的模型,且依赖训练所用的硬件与软件栈组合。
方法本身既巧妙又简单,堪称哥伦布竖鸡蛋。
先立几个基本事实。
第一,不同AI加速器家族的着色器模块(SM)数量各不相同,大致可类比CPU核心:英伟达Hopper芯片有132个,Blackwell B系列有148个,Blackwell GB系列则是152个。
第二,训练AI模型的软件栈不止一种,但在英伟达硬件上,PyTorch及其CUDA生态相关工具是绝对主流。
训练模型的第一步是初始化权重,也就是模型对每个输入赋予多大权重。
在现代大语言模型架构中,初始化要经过随机化步骤,用cuRAND把数值做正负伪随机调整——随机,但给定一个种子起始值,每次得到的调整数值完全相同。
对整个模型做这件事计算量很大,因此过程会分摊到所有SM上,再细分为线程。
对于大规模权重集,Blackwell和Hopper芯片每个SM的线程数是2048,这个数字显然是经过精心选择和优化的。
研究者用相同的芯片、软件和线程数复现了初始化过程。
经过相对简单的统计分析,他们发现最终权重值的统计分布与DeepSeek、Kimi等模型精确吻合。
作为对照,他们改动SM数量和线程数,相关性如预期般彻底瓦解。
由此,他们能辨认出每个模型使用了哪一族Blackwell/Hopper芯片,并进一步估算出所用显卡的大致数量。
但具体是哪一款变体产出了这些权重,他们无法锁定——因为分析只与初始化布局数量挂钩,也就是SM数量和使用模式,而不涉及显存容量、内存带宽等区分单卡的其他特征。
那AMD的MI300X,或者其他SM数量足够高、跑同一套软件栈的芯片呢?
研究者表示,把AMD卡配置成呈现为两组152或148个着色器并非不可能,尽管看不出有什么理由这么做。
针对DeepSeek V4,他们还通过分析权重值本身排除了这种可能,发现AMD卡依然无法产生相同的权重值模式。
特别
以上内容由江南体育整理发布。
分享这篇内容
让更多人看到有价值的信息
FIELD