maomaoxiao
0.01D

这就是为什么我们需要开源 AI 模型的原因

  •  
  •   maomaoxiao · 15h 47m ago · 3989 views

    7 月 16 日,全球最大的 AI 模型平台 Hugging Face,发表了一篇文章,宣布他们被一个全自动 AI Agent 攻入了他们的服务器。

    整个过程中几乎没有人类操作。

    攻击从一个恶意数据集开始,Agent 串联了数据处理系统中的两个代码执行漏洞,获得节点级权限,窃取云端和集群凭据,并在多个内部集群之间横向移动。

    它调用了数千次自动操作,运行在大量短生命周期沙箱中,甚至建立了可以自行迁移的 C2 控制系统。

    Hugging Face 最终记录了超过 17000 个攻击事件。

    但更荒诞的事情发生在调查阶段。

    Hugging Face 最初尝试用美国闭源前沿模型 @ChatGPTapp @claudeai 的 API 分析日志,但真实的攻击命令、漏洞 Payload 和 C2 数据触发了安全护栏,模型直接拒绝工作。

    最后,他们只能在自己的服务器上运行中国 @Zai_org 的开源模型 GLM 5.2。

    GLM 5.2 在几个小时内分析完 17000 多条记录,重建攻击时间线,定位被窃取的凭据,并区分真实攻击和诱饵行为。

    如果不是世界上存在 GLM5.2 这样的开源顶级模型,Hugging Face 绝对没有任何能力阻止这次入侵。

    因为人类的响应速度远远不如 Agent,数百人的安全团队可能都不如同时运行的几个攻击 Agent。

    这事最有趣的部分是攻击者没有任何安全限制,防守者却被安全护栏拦住了。

    当攻击和防御都开始 Agent 化,真正重要的已经不只是模型能力。

    谁能自己运行、审计和控制模型,谁才拥有机器速度时代的安全主动权。

    这有点像核武器,很只有形成互相核威慑才可以保证世界的稳定。

    原文: https://huggingface.co/blog/security-incident-july-2026 原帖: https://x.com/MaxForAI/status/2079350994056737232?s=20


    人人有枪,才能不乱。

    山雨欲来风满楼,雇佣来的 A/O 老爷的私军,在紧急时刻面前你调的动吗?

    40 replies    2026-07-21 19:18:26 +08:00
    maocat
        1
    maocat  
       15h 44m ago   ❤️ 9
    坐等一个峰哥头像的人进来喷国产开源
    woshishui2022
        2
    woshishui2022  
       15h 36m ago
    开源当然好了;不然其他国家早被美国收割了。
    现在能玩的动大模型的,也就中美了;未来 AI 主要成本是电费,这块是我们优势
    zfyime
        3
    zfyime  
       15h 31m ago
    当然要开源了 我以为开源精神一直都是真理
    GeruzoniAnsasu
        4
    GeruzoniAnsasu  
       15h 27m ago
    这其实不构成「需要开源模型」的理由

    因为攻击者的能力也是用同款开源模型构建的。
    yaytohkay
        5
    yaytohkay  
       15h 25m ago   ❤️ 8
    “为什么 xxx 的原因”是经典病句了,应该是“这就是为什么我们需要开源大模型”或者是“这就是我们需要开源大模型的原因”。
    thinkm
        6
    thinkm  
       15h 22m ago   ❤️ 3
    @yaytohkay 文学造纸很高👍
    dacapoday
        7
    dacapoday  
       15h 18m ago
    这不就是"禁枪/拥枪"吗?
    禁开源模型 等于 禁枪, 降低坏人的侵害程度. 支持开源模型 等于 拥枪, 好人有枪才能抵御坏人侵害.
    左右都有理,全看立场.
    sillydaddy
        8
    sillydaddy  
       15h 14m ago
    #4 楼说的很对啊,你的论证逻辑上有漏洞,很明显,如果没有开源模型,那就没有这次攻击了!

    然后再说核武器的类比,假如说,人人都可以轻松有核弹头以及投射能力,能「互相威慑」以至于「保证世界稳定」吗?

    我发现一个核心的点,就是:权责利的平衡!

    一个人当然可以夺走另一个人的生命,它自己也要付出代价。但你不能让一个人,只需要付出自己生命的代价,就可以夺走上百万人的生命。这不是威慑!这是不对等或者说不对称!

    不对称可以用在防守上,比如密码学就是一个典型案例,之前 V 友推荐过一本书《主权个人》,就是讲(加密世界的)不对称造成的世界趋势的变化。

    但假如不对称用在进攻上呢?我不知道 AI 属于哪种。但核武器的例子是很差的一个类比。
    xing7673
        9
    xing7673  
       15h 13m ago   ❤️ 1
    @GeruzoniAnsasu bro 断言得过于彻底了,攻击者能力不一定由开源模型构建
    ChangQin
        10
    ChangQin  
       15h 8m ago
    @GeruzoniAnsasu 领先的闭源模型是否也可以调教出一个可以无视任何规则的模型?🤔
    GeruzoniAnsasu
        11
    GeruzoniAnsasu  
       14h 40m ago
    @ChangQin 领先的闭源模型是否调教出一个能用于对抗网络攻击的模型?🤔
    GPLer
        12
    GPLer  
       14h 36m ago
    @xing7673 如果攻击者通过某种能力绕过了闭源模型的安全护栏,那么防守者也可以,开源模型同理,并不存在不对等。
    maomaoxiao
        13
    maomaoxiao  
    OP
       14h 34m ago
    @yaytohkay 哥们你再看下标题
    maomaoxiao
        14
    maomaoxiao  
    OP
       14h 28m ago
    @GeruzoniAnsasu #4 不管是开源还是闭源构建的攻击能力,AI 已经存在了。不能指望于‘不作恶’的口号,只能依赖于人人都有防御的能力。开不开源不重要,我有自保的能力才重要。现在给小企业和个人最好的防御能力就是开源模型了。
    ccpp132
        15
    ccpp132  
       14h 22m ago
    @GPLer 如果攻击者是 a\内部人员呢?每个防守者都去 a\安排一个内鬼?
    GeruzoniAnsasu
        16
    GeruzoniAnsasu  
       14h 10m ago
    @maomaoxiao

    > 其实不构成「需要开源模型」的理由

    你描述的是「 AI 平权」。模型开源与否其实不影响权利平等化。
    stoneabc
        17
    stoneabc  
       14h 2m ago
    @GeruzoniAnsasu 平权的关键是,你能不能用闭源模型不是你说了算。
    zfjdif
        18
    zfjdif  
       14h 1m ago   ❤️ 2
    @maomaoxiao #13 怎么看你这也是句式杂糅啊
    maomaoxiao
        19
    maomaoxiao  
    OP
       13h 48m ago
    @zfjdif 我语文不好了😅
    Cu635
        20
    Cu635  
       13h 44m ago
    @zfyime #3
    在精神上,不是“开源软件”,而是“自由软件”才是真理。


    @dacapoday #7
    禁枪是怎么禁止的?

    如果是现实中的美国“禁枪”“拥枪”两派,那么“禁枪”只禁止了守法公民的枪,非法拥枪、帮派这些完全就等于没管,结果是好人没枪坏人有枪了,恰恰是增强了坏人的侵害程度,还不如“拥枪”派呢。

    如果是理想当中、字面意义的“禁枪”,最接近的还真就是近几年的中国大陆地区了,只有到了这种程度,“禁枪,降低坏人的侵害程度”才能成立。

    “禁开源模型”是类比的哪一种呢?禁止了之后,如何保证闭源模型不是帮派?
    f10w
        21
    f10w  
       13h 44m ago
    >When we started the log analysis, we first used frontier models behind commercial APIs. This did not work: the analysis requires submitting large volumes of real attack commands, exploit payloads, and C2 artifacts, and these requests were blocked by the providers' safety guardrails, which cannot distinguish an incident responder from an attacker. We ran the forensic analysis instead on GLM 5.2, an open-weight model, on our own infrastructure. This had a second benefit: no attacker data, and none of the credentials it referenced, left our environment.

    连安全防护都过不了,这不是说明不能通过商业模型进行攻击吗?
    博客又说这是 AI-driven intrusion ,攻击者不就大概率来自开源模型?
    ixcode
        22
    ixcode  
       13h 42m ago
    如果说 AI 拒绝进行渗透测试的动作我还能理解,但是 fable/5.6 拒绝对自己编写代码进行安全检查,就很扯淡。
    zhya
        23
    zhya  
       13h 24m ago
    如果攻击事件也是开源模型驱动的呢?
    luoyebuyu
        24
    luoyebuyu  
       13h 20m ago
    @maomaoxiao #13 要么 "为什么我们需要开源 AI 模型",要么 “这就是我们需要开源 AI 模型的原因” (手动狗头)
    ndxxx
        25
    ndxxx  
       13h 8m ago via Android
    原汤化原食
    vsitebon
        26
    vsitebon  
       12h 57m ago   ❤️ 1
    原先攻击方可以利用越狱后模型,防御方除了越狱模型就只能选一些远远比不上闭源模型的开源模型
    现在攻击方可以利用越狱后/开源模型,现在防御方除了同样越狱模型以外,多了一个选择开源模型的选项

    主要是同样是分析样本,纯人工的速度已经快赶不上 Agent 触发的速度了
    clemente
        27
    clemente  
       12h 57m ago
    攻击源头也来自开源模型的扩散 Hhhh
    zbinlin
        28
    zbinlin  
       12h 41m ago
    在没有 AI 之前,人们是如何分析这类日志的?
    folnet
        29
    folnet  
       12h 9m ago
    这就是为什么我们不需要 AI 的原因
    wengjin456123
        30
    wengjin456123  
       12h 1m ago
    glm5.2 700b 参数干到了顶级,真的牛逼
    xing7673
        31
    xing7673  
       11h 58m ago
    @GPLer 万一攻击者并不需要绕过呢?
    JNotEnoughW
        32
    JNotEnoughW  
       11h 38m ago
    这标题的 [为什么] xxx [的原因] 语义重复看得让人难受
    catazshadow
        33
    catazshadow  
       11h 38m ago via Android
    如果开源模型搞的最火热的不是天朝,你会写这篇文章吗
    autumncry
        34
    autumncry  
       11h 34m ago
    大模型真正进入产业,开源一定是充分必要条件。
    1. 真实的企业场景,是不会允许自己的核心数据被 api 接入到模型厂商的服务器的,哪怕厂商再承诺不使用 api 的数据不会用来训练模型,不会有企业愿意承担这个风险。
    未来的趋势一定是开源+私域部署。
    2. 模型训练本身就不是有技术/算法门槛的事,你 claude 能获取到的数据,我 kimi/智谱一样能获取, 你再闭源的训练策略,我一样能实现,不存在技术壁垒;唯一差距是算力门槛
    3. 所以模型技术本身不存在什么闭源核心技术,搞闭源的终究不会笑到最后,最多可能 2c 端能吃稳,但是 2B 端一定是开源模型的天下
    TKKONE
        35
    TKKONE  
    PRO
       11h 33m ago
    @maocat 太经典了
    oldManNewThought
        36
    oldManNewThought  
       10h 29m ago
    那攻击 agent 估计也是 glm5.2 了
    MrBearin
        37
    MrBearin  
       9h 30m ago
    "attack was driven by an autonomous AI agent system"....那"宣布他们被一个全自动 AI Agent 攻入了他们的服务器。整个过程中几乎没有人类操作" 这个是怎么推导出来的?
    RandomJoke
        38
    RandomJoke  
       9h 5m ago
    @autumncry 没那么绝对,可以本地化啊...SAP 之类的 SAAS 不都是闭源
    hsir
        39
    hsir  
       8h 56m ago
    @GeruzoniAnsasu 不一定,万一是 Anthropic 自己攻击的 Huggingface 呢?毕竟这家公司厌恶开源模型,自然有动机攻击 HF
    dongzhuo777
        40
    dongzhuo777  
       6h 23m ago
    开源主要是因为政治上,不开源怎么打得过美国的闭源模型。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1280 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 150ms · UTC 17:41 · PVG 01:41 · LAX 10:41 · JFK 13:41
    ♥ Do have faith in what you're doing.