zhoudaiyu

AI Infra 是不是目前 LLM 的工作中对数学要求较低,且 Sre 可以考虑转型的?

  •  
  •   zhoudaiyu · 19h 2m ago via iPhone · 1044 views

    我是 k8s SRE,目前运维的服务全是通算的。之前也部署过常见的大模型在 k8s 上,早期折腾过 triton 和 mig 这种 gpu 虚拟化的东西,我觉得 ai 时代 传统的通算运维已经有些过时了,想学习一下 AI Infra 的东西,但是我手里没有卡,也没有实际需求

    7 replies  •  2026-11-16 15:15:07 +08:00
    midasplus
    midasplus
    16h 46m ago
    1
    没有卡是小事,买就行了
    没有实际需求比较难
    nomansky
    nomansky
    16h 30m ago
    2
    没什么很多机会。本地部署模型无论是大模型还是小模型,对于很多企业来说,都不是大众的需求。

    model provider 以后就像基础设施一样,大部分都会是云厂商吃掉了。就好像 k8s 集群,企业没有专业运维团队都不会考虑自建的,就用云托管的 k8s 就行了。
    liangjx
    liangjx
    5h 0m ago
    3
    好像现在市场对 AI Infra 的定义包括了后端+运维的工作,有的还要求写算子
    yedkk
    yedkk
    3h 59m ago
    4
    vllm,hami,kqueue 或者 volcano,反正能简单部署一些,至于精益求精就非常难了
    zhoudaiyu
    zhoudaiyu
    OP
    2h 13m ago
    5
    @midasplus 确实,没有太多需求了,之前还我部署,后来有人专门做这块了
    @nomansky 我们这还有部署模型的需求,但是部署我们组做了,部署的那个哥们还挺熟的
    @liangjx 我其实也会后端(Python)和运维(当前主页),算子啥的和算法有关系的我不太懂
    @yedkk vllm 用过,我们部署都用的这个,还有 Triton,volcano 看过一下调度算法,没部署过
    Meteora626
    Meteora626
    1h 41m ago
    6
    市场对 Infra 的定位是会优化算子和架构 而不是你理解的运维
    nomansky
    nomansky
    12 mins ago
    7
    @zhoudaiyu 你这个叫 LLM Ops。不叫 AI infra。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4474 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 07:27 · PVG 15:27 · LAX 23:27 · JFK 02:27
    ♥ Do have faith in what you're doing.