rjagge
V2EX  ›  问与答

跑模型的 server 很卡,但是判断不出问题的原因所在,有没有运维相关的老哥有偿看看?

  •  
  •   rjagge · Feb 12, 2023 · 2709 views
    This topic created in 1365 days ago, the information mentioned may be changed or developed.

    如题,这个问题困扰了我很多天了,vscode 和 terminal 都能感知到明显的延迟。 基于知识付费的原则,小弟为您的知识付费,只为了解决小弟的困惑 wx: cmphZ2dl

    25 replies  •  2023-02-15 15:14:28 +08:00
    imkuang
    imkuang
    Feb 12, 2023 via Android
    1
    你这 CPU 占用 user time + system time 都 100%了,还问为什么卡,,,
    BanShe
    BanShe
    Feb 12, 2023
    2
    27.7us ,72.3sy ,😂
    echoless
    echoless
    Feb 12, 2023 via Android
    3
    你用 htop 会更明显
    des
    des
    Feb 12, 2023
    4
    load 都 643 了你还问为什么卡
    imydou
    imydou
    Feb 12, 2023
    5
    sy=剩余 🙈
    hsfzxjy
    hsfzxjy
    Feb 12, 2023 via Android
    6
    几个核啊能这么跑
    rjagge
    rjagge
    OP
    Feb 12, 2023
    7
    @imydou 笑死了,我一直以为 us 是 usage 的缩写,然后 sy 想必就是剩余了....
    rjagge
    rjagge
    OP
    Feb 12, 2023
    8
    @hsfzxjy 有两块 Intel(R) Xeon(R) Gold 5215 CPU @ 2.50GHz
    rjagge
    rjagge
    OP
    Feb 12, 2023
    9
    @wuhaoecho 不是 root 没有权限....
    rjagge
    rjagge
    OP
    Feb 12, 2023
    10
    @xiri 了解了一下,是我无知了把 us 当作占用率...
    rjagge
    rjagge
    OP
    Feb 12, 2023
    11
    @des 了解了一下 load ,发现问题很严重..............
    rjagge
    rjagge
    OP
    Feb 12, 2023
    12
    @BanShe
    @xiri

    我看了一下 sy 过高是不是有问题啊大哥们
    idblife
    idblife
    Feb 12, 2023
    13
    能放开 ssh 给网上的陌生人看一下吗?
    deorth
    deorth
    Feb 12, 2023 via Android
    14
    把跑模型的进程加点负的 nice 就不卡了
    rjagge
    rjagge
    OP
    Feb 12, 2023
    15
    @deorth 不是 root 。。。。nice 不了,有什么其他办法吗。。。
    des
    des
    Feb 12, 2023
    16
    @rjagge 你这问题很多,首先 24users 是什么情况,然后 load 都六百多了,cpu 的 sys 到 72%也不正常,以及 72 个 zombie 也不正常。不知道你这太机器多少核心,跑这么多进程都是 RUNNING 状态
    des
    des
    Feb 12, 2023
    17
    @rjagge 没啥好办法,就是跑的程序太多太卡了
    ETiV
    ETiV
    Feb 12, 2023 via iPhone
    18
    装 docker 了没,你能用 docker ps 吗?
    ryd994
    ryd994
    Feb 12, 2023 via Android
    19
    1. 不是 root 也能 nice ,但是只能从默认的 10 往上加。nice 越高优先级越低。root 可以减 nice ,也就是比默认更高。
    2. 你跑模型的程序需要调并行度。并行度太高、开太多进程只会更慢,因为增加了调度开销。基本原则是线程数等于 CPU 核心数(包括超线程)。一点往上加,刚好能稳定占满 CPU 就不必再加了。
    ETiV
    ETiV
    Feb 12, 2023 via iPhone
    20
    (如果装了 docker 、并且你当前用户可以用 docker ,你就能把自己变成 root )
    muzuiget
    muzuiget
    Feb 12, 2023
    21
    内存不足,SWAP 用满了,频繁虚拟内存切换。
    blackeeper
    blackeeper
    Feb 12, 2023
    22
    你这个有几个问题:
    1 ,cpu 负载很高
    2 ,内存也有时候不足,SWAP 都用了一部分
    3 ,程序也有问题,有很多 zombie
    总结一下:是用户 user13 运行了命令 R 语言在跑模型,大概有四十多个进程,cpu 占用率非常大,基本全是他在占用,
    需要限制一下多用户使用系统资源,做一下任务队列
    kkkbbb
    kkkbbb
    Feb 13, 2023
    23
    @xiri 你们能看到图片还是?
    kkkbbb
    kkkbbb
    Feb 13, 2023
    24
    @kkkbbb 卡了,刚刷出来图片。。。
    rjagge
    rjagge
    OP
    Feb 15, 2023
    25
    @ETiV 我的 user 能 docker ps ,咋搞啊大哥,我就想给 nice 减低一点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1526 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 70ms · UTC 10:07 · PVG 18:07 · LAX 02:07 · JFK 05:07
    ♥ Do have faith in what you're doing.