爱意满满的作品展示区。
joocejie

开源一个云环境网络流量镜像项目 Packet-Agent(参与送 PS4)

  •  
  •   joocejie · Sep 12, 2019 · 27526 views
    This topic created in 2609 days ago, the information mentioned may be changed or developed.

    项目背景

      传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
      而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
      对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
      因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。

    Packet-Agent 简介

      Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。

    Docker Kubernetes 支持

      Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
      具体方案见项目文档:K8S_traffic_mirror

    参与 Packet-Agent 项目

      欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。

    抽奖回馈社区

      为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:

    1. 在这个帖子下面回复参与讨论。
    2. 获奖资格:从现在起到 2019/09/18 23:59:59 参与讨论的前 500 名用户具有获奖资格。
    3. 中奖号码 = 2019/09/19 日 A 股大盘收盘点数 * 100 % 所有具有获奖资格的用户排序去除重复后的总数('*'是乘法,'%'是数学取余数)
    4. 比如:有 @y_user @x_user @z_user @x_user 3 个用户依次回复了 4 次,那么所有具有获奖资格的用户排序去除重复后就是 @x_user @y_user @z_user,分配给他们的抽奖号码依次是 0,1,2。假设 A 股收盘点数是 3012.34 点,那么 3012.34 * 100 % 3,中奖号码就是 1,中奖用户就是 @y_user
    5. 提示:因为会排序去重,多次回复不会增加中奖概率。
    Supplement 1  ·  Sep 18, 2019
    前 500 位名单如下,依次编号 0~499:

    0hey0:编号 0
    0ps:编号 1
    0x3f3f
    1005gel
    109109
    12
    123s
    1more
    1rror
    284376485
    3CH0
    402645707
    40huo
    49degree
    7gugu
    810244966
    8629
    99911a
    AJDX3906
    AaronLiu00
    Ahs
    Ahy
    AidenChen
    AlexaZhou
    AmadeusGhost
    AnonymousM
    Believer
    BoiledEgg
    BriFuture
    ChenXuting
    ChristopherWu
    CoCoMcRee
    Coande
    CodeWind
    CrazyRain0001
    Cyron
    Despacito
    DrJoseph
    DreamSpace
    E1n
    ESeanZ
    Famio
    Flyerwzb
    FuryBean
    FuturesXu
    G1n233
    GM
    Hauserkk
    Hugehard
    IDCFAN
    ITJoker
    Isight
    JKing
    JL1990
    JasperYanky
    Jiuyu
    Joker3120
    JunkLeo
    JusticeShi
    Juszoe
    KasuganoSoras
    Keyes
    Kimiato
    KingPL
    Kinnice
    LWXYFER
    LXVC
    LazYFire
    Licsber
    LinusTor
    Lisylfn
    LittleYangYang
    MITOO
    Macolor21
    MiaRunis
    Mikewu
    MioAkiyama
    Motoi
    MrMario
    MyFaith
    Nasei
    NoirStrike
    OrangeM21
    Orenoid
    PeterPig
    PickMio
    PlayByMyself
    PyCode
    RanchoTuring
    Realucas
    Rehtt
    Rheinmetal
    SaberJack
    Sanko
    Saszr
    Shunte
    SmallZheng
    Suvigotimor
    TangCuYu2333
    Tenlp
    TheWalkingDead
    Themyth
    Tink
    Tong16
    UnknownR
    Vanctol
    VermouthcZzz
    WhyLiam
    Wien
    WilliamYang
    XSG
    YFeei
    YenvY
    Yorkzhu
    Zainxu
    ZiLong
    Zsh110
    Zzdex
    aWangami
    aaaaaaaaa
    abelce
    actar
    acz154
    ahaxzh
    alexzhan
    alikesi
    allencloud
    alpha2016
    alschw
    anjiannian
    anoper
    archknight
    arfaWong
    aru
    atan
    az422
    azh7138m
    azuginnen
    b1gCi
    b1rdb0y
    baixiaoyu2997
    blueset
    bobsam
    bolshevik
    bomb77
    bullettrain1433
    buried
    bxb100
    byron
    c
    c0878
    carbon
    caserest
    cbangchenLL7
    cc3630
    chanots
    chashao
    chinafeng
    chinvo
    chuanqirenwu
    chy373180
    cjc2017
    cjpjxjx
    cmllwxxl
    cnbattle
    co3site
    codereric
    controller
    coolair
    cornelia
    corningsun
    cosmo
    crabtsk
    crs0910
    csx163
    cxh2000210
    cxy1234
    cyssxt
    d5
    dabaibai
    dewi
    dixeran
    dontbesad
    dream7758522
    drlalll
    duola
    einvince
    elbertzhu
    epicSoldier
    eptwd
    everydiao
    ezioruan
    falcon05
    fatelight
    fathuman
    fcj558
    feifan00x
    felixcode
    fghshunzi
    fhvch:编号 199
    Supplement 2  ·  Sep 18, 2019
    fire2y:编号 200
    fishofcat
    flxxy
    fo3xx
    frostcake
    gIrl1990
    galenzhao
    gangsta
    gaobh
    gcod
    gdcbhtd
    geekzjj
    gleox
    goodryb
    gotounix
    gstqc
    guoluwei
    gxvv
    h4lt
    hangvane
    haofly
    harryge
    harryge01
    hebin
    hebingchang
    hedys
    hfutzj
    hillw4h
    hohoho
    huadi
    huishu
    huiwl
    hzwjz
    i0error
    iAcn
    iThink
    iakisey
    iamalive2008
    icekingcy
    ifulikeweirdo
    il1707
    ilixin
    illl
    imNull
    imay
    ittianyu
    iture
    ivanyin
    iwtbauh
    javashell
    jaylong
    jerrodpoole
    jiang123574
    jiangming1399
    jiexixijie
    jiezhi
    jimages
    jjxh
    jkbspin
    johnnie502
    joocejie
    jsdtxm
    jsnjfz
    jsonzz
    just1
    justin2018
    kaixuan1901
    kakudesu
    kalagxw
    kebyn
    killeder
    killerzhangsan
    koalaMagic
    kohos
    koromon
    kraymond
    ksedz
    kukat
    kutear
    laowei222
    ldm0
    leafleave
    lee82014312
    leesh853761
    lilihangzhou
    linpm
    litao3rd
    littleghosty
    liu19931020
    liujiajun1999
    liuymf
    livexia
    lixile
    ljlljl0
    lmaq
    lockerhyz
    lostexile
    loveyu
    lqzhgood
    lrvy
    lscho
    luckybo
    luoqing1477
    luozic
    lycc
    lyuehh
    lzy4happy
    manhere
    maohhgg
    maooyer
    marsLeo
    mason961125
    meeken
    menyakun
    mhcyong
    ming7435
    miragetu
    mlhadoop
    moln
    molvqingtai
    monkey2
    moonrailgun
    morethansean
    moryxsw
    mosesyou
    movax21h
    mpb
    mrcn
    mulei200
    mulu
    mymike
    mynamewang0
    mywaiting
    n37r06u3
    nameldk
    natforum
    nomoon
    nooper
    oIMOo
    octobersnow
    okjb
    oovveeaarr
    orcinusorca
    orient
    pandachow
    phithon
    pinkward
    plaknight
    poison123
    polythene
    ponder
    ptlkStar
    qdpoboy
    qiangmin
    qinghon
    qmake
    qq29701
    qq625692420
    raffaellolin
    rainfox
    ranleng
    rapperx2
    reticentfat
    richard1122
    rinsingw
    rjie2008
    rosu
    ruiyinjinqu
    runningding
    ryV60s
    saberlove
    salmon5
    scoful
    sdandroid
    select
    sep9999
    set01
    setsena
    sevenphp
    sgq1128
    shadowyue
    shdcn
    shell314
    shishen10
    shuaizi
    sike03
    siknet
    silaike
    silenceboychen
    singerll
    sixm
    slwl123
    smilzman
    sniperking1234
    songjiaxin2008
    spemoon
    squallsdjl
    sreal
    st4rg4z3r
    standin000:编号 399
    Supplement 3  ·  Sep 18, 2019
    starrycat:编号 400
    stayreal
    steptodream
    stevenbipt
    sun522198558
    suyuyu
    swulling
    syy
    tailaqumos
    tangtj
    test23
    tetora
    tf141
    tfdetang
    thoutherKai
    thulof
    tingchina
    tongz
    tookbra
    totopo
    tsukiikekaoru
    tt0411
    tuot
    tyhunter
    tyx1703
    uhian
    unknownservice
    uptime
    vast0906
    vcinex
    vipdog73
    vipwpcom
    visitant
    vjnjc
    vstar
    wangxxxing
    wanyulaowang
    weixingna
    whtsky
    wingoo
    wlw0327
    wojfsdj
    wph95
    wuYin
    wwek
    wy53
    wzw
    x2ve
    xddxdd
    xduanx
    xiangchen2011
    xianxianyu
    xiaobanlong
    xiaodog
    xiaome
    xiaonec
    xiazero
    xiazhiisgood
    xiongbiao
    xiri
    xiubin
    xml123
    xmoon
    xrds7986
    xsephiroth
    xuc
    xuecan
    xuqianyu
    y547679519
    yangfan1999
    yatestxw
    yeya24
    ylhawj
    ysicing
    ytlm
    yufj
    yukiww233
    yycpro
    yyork
    yzyun08
    z919126592
    zavieryip
    zealinux
    zenze
    zerozz
    zhangqilin
    zhchyu999
    zhengjian
    zhensjoke
    zhouyg
    zhuawadao
    zjx1993
    zongwan
    zpfhbyx
    zsdroid
    ztnuaa
    zvcs
    zytomorrow
    zzmstring
    zzw1998:编号 499
    549 replies  •  2019-09-26 12:49:40 +08:00
    1  2  3  4  5  6  
    ❮ ❯
    joocejie
    joocejie
    OP
    Sep 12, 2019
    201
    @Macolor21 项目 docs 目录下有个 benchmark:Packet-Agent 性能评测.md
    如背景介绍,其他产品有类似功能,但是不是同样的原理,不方便简单做性能对比。
    ptlkStar
    ptlkStar
    Sep 12, 2019
    202
    分母
    joocejie
    joocejie
    OP
    Sep 12, 2019
    203
    @bullettrain1433 还有这种事情😓,我这个是公司出预算。
    duola
    duola
    Sep 12, 2019
    204
    分母来了。
    zongwan
    zongwan
    Sep 12, 2019
    205
    开源项目都送东西。。。分母分母
    joocejie
    joocejie
    OP
    Sep 12, 2019
    206
    @allencloud 与 tcpdump 相同的地方是都使用了 libpcap,不同点是 tcpdump 一般保存为本地 pcap 文件,Packet-Agent 将数据包做 GRE 封装后发送到其他机器。
    joocejie
    joocejie
    OP
    Sep 12, 2019
    207
    @harryge 确实和 Istio 同样使用 Sidecar 模式,将容器植入到 Pod 中,但我们只做简单的流量采集工作。
    yyork
    yyork
    Sep 12, 2019 via iPhone
    208
    分母
    joocejie
    joocejie
    OP
    Sep 12, 2019
    209
    @c0878 没有用过 AWS 的 VPC Flow,看了一下它好像只采集 meta 信息,没有采集完整数据包。
    可能我理解不到位,如果采集完整包,那功能就是接近的。
    glorifiedatom
    glorifiedatom
    Sep 12, 2019 via iPhone
    210
    分母........
    yeya24
    yeya24
    Sep 12, 2019❤️1
    211
    如果要网络流量的话,直接用 goreplay 不是也可以吗? 顺便分母+1
    mlhadoop
    mlhadoop
    Sep 12, 2019
    212
    喵
    WilliamYang
    WilliamYang
    Sep 12, 2019
    213
    支持
    iamalive2008
    iamalive2008
    Sep 12, 2019
    214
    支持一波
    dewi
    dewi
    Sep 12, 2019 via iPhone
    215
    来看看
    joocejie
    joocejie
    OP
    Sep 12, 2019
    216
    @yeya24 谢谢,我改天借鉴一下这个 goreplay
    810244966
    810244966
    Sep 12, 2019
    217
    顶一个
    OrangeM21
    OrangeM21
    Sep 12, 2019
    218
    分母来了。
    Ultraman
    Ultraman
    Sep 13, 2019 via Android
    219
    PS4 啥的不重要,主要是我觉得对你们这个项目感兴趣🐶
    arrebol42
    arrebol42
    Sep 13, 2019
    220
    for PS4 haha
    natforum
    natforum
    Sep 13, 2019
    221
    ps4 我来了
    gangsta
    gangsta
    Sep 13, 2019
    222
    2K19 已买, 坐等 LZ 的 PS4 发货...😅
    cosmo
    cosmo
    Sep 13, 2019
    223
    分母分母
    for PS4
    pC0oc4EbCSsJUy4W
    pC0oc4EbCSsJUy4W
    Sep 13, 2019
    224
    分母来啦
    stayreal
    stayreal
    Sep 13, 2019
    225
    开源项目都送东西
    aaaaaaaaa
    aaaaaaaaa
    Sep 13, 2019
    226
    很有用,谢谢
    mpb
    mpb
    Sep 13, 2019 via iPhone
    227
    PS4 啥的不重要,主要是支持开源🐶
    chy373180
    chy373180
    Sep 13, 2019
    228
    分母来了
    scoful
    scoful
    Sep 13, 2019
    229
    先分母
    YFeei
    YFeei
    Sep 13, 2019
    230
    分母+1
    Keyes
    Keyes
    Sep 13, 2019 via iPhone
    231
    vpp 引流方案能用在这个东西上吗?
    LXVC
    LXVC
    Sep 13, 2019 via iPhone
    232
    拼一波人品
    iwtbauh
    iwtbauh
    Sep 13, 2019 via Android
    233
    没看明白,直接运行一个 tcpdump 然后 ignore 一个端口再管道传给 netcat 用这个端口把数据发给远程主机不就行了。这个软件有什么优势?
    singerll
    singerll
    Sep 13, 2019 via Android
    234
    排队
    alikesi
    alikesi
    Sep 13, 2019 via Android
    235
    早上打卡
    luozic
    luozic
    Sep 13, 2019 via iPhone
    236
    流量镜像?
    johnnie502
    johnnie502
    Sep 13, 2019
    237
    不抽白不抽
    E1n
    E1n
    Sep 13, 2019 via Android
    238
    支持😁
    mrcn
    mrcn
    Sep 13, 2019 via Android
    239
    拉低中奖率
    co3site
    co3site
    Sep 13, 2019 via Android
    240
    支持开源
    mulu
    mulu
    Sep 13, 2019 via Android
    241
    一直是分母的我,也有分子的梦
    xduanx
    xduanx
    Sep 13, 2019 via iPhone
    242
    打卡
    select
    select
    Sep 13, 2019
    243
    除了支持我还能说什么
    XSG
    XSG
    Sep 13, 2019 via iPhone
    244
    来了来了
    123s
    123s
    Sep 13, 2019
    245
    来嘛
    sniperking1234
    sniperking1234
    Sep 13, 2019
    246
    支持支持
    orcinusorca
    orcinusorca
    Sep 13, 2019
    247
    我要是中了我再在这里送出去
    cyssxt
    cyssxt
    Sep 13, 2019 via iPhone
    248
    ps4 中奖率还可以
    plaknight
    plaknight
    Sep 13, 2019
    249
    万一中了呢!!!!!!!!!!
    y547679519
    y547679519
    Sep 13, 2019
    250
    支持一下,增加分母
    dark3212
    dark3212
    Sep 13, 2019
    251
    我来增加分母,希望能变成分子
    qq625692420
    qq625692420
    Sep 13, 2019
    252
    ps4 不贵,但还是来蹭运气!
    steptodream
    steptodream
    Sep 13, 2019
    253
    抓包 也包含分析用户隐私吗?
    ming7435
    ming7435
    Sep 13, 2019
    254
    增加分母
    ponder
    ponder
    Sep 13, 2019
    255
    基础分母支持
    AJDX3906
    AJDX3906
    Sep 13, 2019 via Android
    256
    分母+1
    sike03
    sike03
    Sep 13, 2019
    257
    分子
    ivanyin
    ivanyin
    Sep 13, 2019
    258
    分母+1
    felixcode
    felixcode
    PRO
    Sep 13, 2019 via Android
    259
    ps4,过来当分子
    goodryb
    goodryb
    Sep 13, 2019
    260
    项目挺有意思的。先顶再看
    AlexaZhou
    AlexaZhou
    Sep 13, 2019
    261
    有诚意的抽奖,我也来支持一把
    hebin
    hebin
    Sep 13, 2019
    262
    支持支持
    squallsdjl
    squallsdjl
    Sep 13, 2019
    263
    超赞~+1
    Kinnice
    Kinnice
    Sep 13, 2019 via Android
    264
    分母分母
    BoiledEgg
    BoiledEgg
    Sep 13, 2019
    265
    所以现在是为了 ps4 支持开源了
    songjiaxin2008
    songjiaxin2008
    Sep 13, 2019
    266
    分母
    sdandroid
    sdandroid
    Sep 13, 2019
    267
    分母
    nooper
    nooper
    Sep 13, 2019
    268
    加油哦
    n37r06u3
    n37r06u3
    Sep 13, 2019
    269
    跟我老东家 云杉的产品很像
    wanyulaowang
    wanyulaowang
    Sep 13, 2019 via Android
    270
    了解一下,说不定又是个以后要用到项目呢
    abelce
    abelce
    Sep 13, 2019 via iPhone
    271
    是所有的包都抓,还是可以选择性的过滤,很好奇,还有就是丢包率
    nameldk
    nameldk
    Sep 13, 2019
    272
    支持一下
    MiaRunis
    MiaRunis
    Sep 13, 2019
    273
    分母来啦~
    lockerhyz
    lockerhyz
    Sep 13, 2019
    274
    赞!分母+1
    ranleng
    ranleng
    Sep 13, 2019 via Android
    275
    拉低中奖率
    shdcn
    shdcn
    Sep 13, 2019❤️1
    276
    既然来抽奖那就要取 star 一下了,正好和研究生老师派的方向很接近
    wwek
    wwek
    Sep 13, 2019
    277
    很好的项目~
    lrvy
    lrvy
    Sep 13, 2019
    278
    赞!分母+1
    ksedz
    ksedz
    Sep 13, 2019 via Android
    279
    mark,最近对接了类似项目导出的流量,不知道他们怎么做的。
    bobsam
    bobsam
    Sep 13, 2019 via iPhone
    280
    哈哈哈,来来来,做分母
    lyuehh
    lyuehh
    Sep 13, 2019
    281
    来来来,做分母
    javashell
    javashell
    Sep 13, 2019 via Android
    282
    分母+1
    0x3f3f
    0x3f3f
    Sep 13, 2019 via iPhone
    283
    我还能做分母。
    xiangchen2011
    xiangchen2011
    Sep 13, 2019
    284
    分子+1
    jiang123574
    jiang123574
    Sep 13, 2019 via iPhone
    285
    几楼了?
    xmoon
    xmoon
    Sep 13, 2019 via Android
    286
    本分母来了
    vipwpcom
    vipwpcom
    Sep 13, 2019
    287
    支持一下
    gIrl1990
    gIrl1990
    Sep 13, 2019
    288
    real?
    richard1122
    richard1122
    Sep 13, 2019❤️1
    289
    可以抓 k8s 容器的流量?感觉还是很有用的,支持一个
    totopo
    totopo
    Sep 13, 2019 via iPhone
    290
    拉低中奖率
    Kimiato
    Kimiato
    Sep 13, 2019 via Android
    291
    分母+1
    shell314
    shell314
    Sep 13, 2019 via Android
    292
    支持
    xuqianyu
    xuqianyu
    Sep 13, 2019 via iPhone
    293
    支持
    ruiyinjinqu
    ruiyinjinqu
    Sep 13, 2019
    294
    欧皇附体,支持一个,感觉方案不错,学习学习
    rinsingw
    rinsingw
    Sep 13, 2019
    295
    回帖=参与 吗?
    il1707
    il1707
    Sep 13, 2019
    296
    感觉对比现有轮子优势点不明显。
    cxh2000210
    cxh2000210
    Sep 13, 2019 via Android
    297
    分母死了
    silaike
    silaike
    Sep 13, 2019 via iPhone
    298
    分母
    ittianyu
    ittianyu
    Sep 13, 2019
    299
    zytomorrow
    zytomorrow
    Sep 13, 2019 via iPhone
    300
    来了来了
    1  2  3  4  5  6  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4961 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 273ms · UTC 07:52 · PVG 15:52 · LAX 23:52 · JFK 02:52
    ♥ Do have faith in what you're doing.