ljspython

一个 22 万张 NSFW 图片的鉴黄数据集?你可以有大胆的想法了……

  •  1
     
  •   ljspython · Jan 14, 2019 · 28776 views
    This topic created in 2849 days ago, the information mentioned may be changed or developed.
    如果你想训练一个内容审核系统过滤不合适的信息,或用 GAN 做一些大胆的新想法,那么数据集是必不可少的。例如图像鉴黄,我们需要使用卷积神经网络训练一个分类器,以区分正常图像与限制级图像。但限制级的图像很难收集,也很少会开源。因此最近有开发者在 GitHub 上开源了一份 NSFW 图像数据集,这是不是你们想要的?



    项目地址: https://github.com/alexkimxyz/nsfw_data_scrapper

    最后,希望大家注意身体
    129 replies  •  2019-01-25 11:55:26 +08:00
    1  2  
    ❮ ❯
    lwlipuyang
    lwlipuyang
    Jan 14, 2019
    1
    我佛了
    hilbertz
    hilbertz
    Jan 14, 2019❤️46
    2
    好的,先让我再进行一次详细的人工标注
    publicvoid
    publicvoid
    Jan 14, 2019
    3
    楼主好人
    DesmondLiu90
    DesmondLiu90
    Jan 14, 2019
    4
    666
    zhang1215
    zhang1215
    Jan 14, 2019
    5
    刚刚随意打开一张发现并不是 NSFW 的 http://cdn.awwni.me/kguv.jpg
    lucahan
    lucahan
    Jan 14, 2019
    6
    有点强啊。。。。
    likuku
    likuku
    Jan 14, 2019
    7
    @zhang1215 可能...有些办公室的也是无法容忍(正常)二次元文化吧。
    Oa
    Oa
    Jan 14, 2019
    8
    删前留名
    wsd15321
    wsd15321
    Jan 14, 2019
    9
    这也行
    ziseyinzi
    ziseyinzi
    Jan 14, 2019 via Android❤️1
    10
    收藏比回复多系列
    JohnChiu
    JohnChiu
    Jan 14, 2019❤️1
    11
    @zhang1215 #5 neutral 和 drawings 文件夹内是 safe for work 的啊
    HOHOCCC
    HOHOCCC
    Jan 14, 2019
    12
    这谁顶得住啊
    SuYia
    SuYia
    Jan 14, 2019❤️3
    13
    要不要拿出我私藏的爬虫出来?怕分享了大家身体就垮了
    hpeng
    hpeng
    Jan 14, 2019 via iPhone
    14
    Reddit 去采集 nsfw 就好了,已经帮你标注了
    slamDunkLINk
    slamDunkLINk
    Jan 14, 2019
    15
    楼上的,有就别私藏了,分享才是王道
    zoneyan
    zoneyan
    Jan 14, 2019 via Android
    16
    @thonatos share?
    sxm
    sxm
    Jan 14, 2019 via Android
    17
    抓个 xxx 站就有几百万的图了
    zhuoyan
    zhuoyan
    Jan 14, 2019
    18
    1042 次点击, 25 人收藏
    lucahan
    lucahan
    Jan 14, 2019
    19
    @thonatos 我能顶得住
    stone666
    stone666
    Jan 14, 2019
    20
    火钳刘明
    BestMe
    BestMe
    Jan 14, 2019
    21
    @ljspython 不懂技术的,表示很焦急。
    wwg1994
    wwg1994
    Jan 14, 2019
    22
    这谁顶得住啊
    shench
    shench
    Jan 14, 2019
    23
    厉害厉害!
    abeholder
    abeholder
    Jan 14, 2019❤️5
    24
    哇塞,搭配我的控制台下载器
    https://github.com/abedormancy/tinydownloader
    来下载 食用更佳 (里面有千把张二次元桌面壁纸,忘记哪爬的了。。)~~
    imshf
    imshf
    Jan 14, 2019
    25
    @thonatos #13 顶得住老哥
    zhang1215
    zhang1215
    Jan 14, 2019
    26
    @JohnChiu 噢,没仔细看还以为全都是呢
    abeholder
    abeholder
    Jan 14, 2019
    27
    为什么突然萌生出一种六学既视感 。。。

    说到 NSFW 的数据集, 我就想起了几个月前做的一个小的下载器。。。

    别问了,问就文体两开花·
    lingo
    lingo
    Jan 14, 2019❤️3
    28
    你要说人工智能神经网络,我是不会的,但是你说人工标注,那我们的故事就开始了。
    lingo
    lingo
    Jan 14, 2019❤️4
    29
    顺便想起前几天看到的说 firefox 新功能,内置了一个黄网名单,名单上的网站不会出现在欢迎页。。
    作为一个开源项目,能不能只对这份名单感兴趣 = =
    d5
    d5
    Jan 14, 2019 via iPhone
    30
    理念先进了
    gxlwm
    gxlwm
    Jan 14, 2019
    31
    就这一会 star 涨了好多, 老哥们稳
    Amayadream
    Amayadream
    Jan 14, 2019
    32
    这谁顶得住啊
    lucahan
    lucahan
    Jan 14, 2019
    33
    @abeholder 这谁顶得住啊。。。
    xspippo
    xspippo
    Jan 14, 2019 via iPhone
    34
    快拿我的营养快线
    jasonyang9
    jasonyang9
    Jan 14, 2019
    35
    这叫学以致用
    Bantes
    Bantes
    Jan 14, 2019
    36
    1842 次点击 ∙ 55 人收藏
    不说了,收藏波先
    suyuyu
    suyuyu
    Jan 14, 2019
    37
    插眼
    x86
    x86
    Jan 14, 2019❤️4
    38
    手冲一时爽,一直冲一直爽
    lkmountain
    lkmountain
    Jan 14, 2019 via Android
    39
    插眼
    youngxu
    youngxu
    Jan 14, 2019 via Android
    40
    机器之心昨天发的,我昨天就 clone 了以防被删( x
    OMGZui
    OMGZui
    Jan 14, 2019 via Android
    41
    留图不留种,xxxxxx
    JRay
    JRay
    Jan 14, 2019❤️2
    42
    为了学习人工智能我决定要收藏一波
    wjfz
    wjfz
    Jan 14, 2019
    43
    已 DownLoad ZIP 防止被删
    cp333
    cp333
    Jan 14, 2019 via iPhone
    44
    教练,我也要学人工智能
    hackpro
    hackpro
    Jan 14, 2019 via iPad
    45
    这么大的数据集就算了 你还要做 GAN
    你想干嘛 想让 TA 自己脱衣服吗😂
    zhichaozhang
    zhichaozhang
    Jan 14, 2019 via iPhone
    46
    fork 了
    qiuai
    qiuai
    Jan 14, 2019
    47
    @thonatos 家里随时有几箱营养快线的路过...快放出来...
    leexy
    leexy
    Jan 14, 2019
    48
    666
    ResidualWind
    ResidualWind
    Jan 14, 2019
    49
    火钳刘明
    JasonSTA
    JasonSTA
    Jan 14, 2019
    50
    火钳刘明
    CivAx
    CivAx
    Jan 14, 2019
    51
    后排兜售营养快线、卷纸
    bravecarrot
    bravecarrot
    Jan 14, 2019 via iPhone
    52
    期待楼主的换脸作品
    zhouyg
    zhouyg
    Jan 14, 2019
    53
    学习学习下人工智能
    Yiki
    Yiki
    Jan 14, 2019
    54
    大家保重身体
    lostberryzz
    lostberryzz
    Jan 14, 2019
    55
    proxychains4 wget --tries=1 -i raw_data/porn/porn.txt
    peaceblast
    peaceblast
    Jan 14, 2019 via iPhone
    56
    @zhouyg 好像很正经的样子……
    mumonitor
    mumonitor
    Jan 14, 2019
    57
    我准备开始学习卷积神经网络了!
    AngryPanda
    AngryPanda
    Jan 14, 2019
    58
    战略性 mark
    j717273419
    j717273419
    Jan 14, 2019 via Android
    59
    有没有 nsfw 视频训练集
    1daydayde
    1daydayde
    Jan 14, 2019
    60
    战略性马克, 我为什么滑稽了起来
    xlcoder166
    xlcoder166
    Jan 14, 2019
    61
    战略性马克 +1
    heiyutian
    heiyutian
    Jan 14, 2019 via Android
    62
    这是限制级?

    ddid
    ddid
    Jan 14, 2019
    63
    我有个疑问,这些资源都是欧美的,如果是亚洲或者非洲内容,会不会免疫鉴定呢?
    hotea
    hotea
    Jan 14, 2019
    64
    1024
    purplewall
    purplewall
    Jan 14, 2019
    65
    讲真这个项目是个爬虫+分类器吧,不过链接是真的多
    dissvm
    dissvm
    Jan 14, 2019 via Android
    66
    91024
    tao1991123
    tao1991123
    Jan 14, 2019
    67
    好人一生平安
    ddid
    ddid
    Jan 14, 2019
    68
    好吧,多翻了几张,挺全面的……
    michaelcheng
    michaelcheng
    Jan 14, 2019
    69
    凸(艹皿艹 ),在公司不小心点开
    googlefans
    googlefans
    Jan 14, 2019 via iPad
    70
    懂了
    KasuganoSoras
    KasuganoSoras
    Jan 14, 2019❤️1
    71
    <?php
    $data = file_get_contents("/raw_data/pron/pron.txt");
    $exp = explode("\n", $data);
    foreach($exp as $url) {
    exec("wget {$url}");
    }
    KasuganoSoras
    KasuganoSoras
    Jan 14, 2019
    72
    写错了是 porn hhh
    berrybeberry
    berrybeberry
    Jan 14, 2019 via iPhone
    73
    哈哈哈
    wangfei324017
    wangfei324017
    Jan 14, 2019
    74
    蛮多无关的啊。。
    Phariel
    Phariel
    Jan 14, 2019 via iPhone
    75
    这种项目建议不要 fork 会有 ban 号的风险
    Loyalsoldier
    Loyalsoldier
    Jan 14, 2019❤️2
    76
    cat ../urls.txt | xargs -n 1 -P 20 wget -t 3

    -P 20 这个 20 上同时下载的数量,这是同时一次下载 20 张图片
    -t 3 这个 3 是如果图片第一次下载失败后,尝试 3 次
    daxiongz
    daxiongz
    Jan 14, 2019
    77
    够了....
    mlhorizon
    mlhorizon
    Jan 14, 2019
    78
    @heiyutian #62 按照绿绿教义,肯定限制级。
    weeevv
    weeevv
    Jan 14, 2019 via Android
    79
    再来几个人把 GAN 抬上来...
    ayase252
    ayase252
    Jan 14, 2019
    80
    exciting
    exciting
    Jan 14, 2019 via iPhone
    81
    1024
    咦,不好意思走错站了。
    i945
    i945
    Jan 14, 2019
    82
    我感觉... 这个真训练出来,没几张图能过审
    Mrlgm
    Mrlgm
    Jan 14, 2019
    83
    这谁顶得住呀
    Nick2VIPUser
    Nick2VIPUser
    Jan 14, 2019❤️2
    84
    fly9006
    fly9006
    Jan 14, 2019
    85
    额,这样玩下去,gayhub💊
    xxgirl2
    xxgirl2
    Jan 15, 2019
    86
    记得把下载脚本里的 wget 改用 aria2c,要不然那是真的慢(
    xuanbg
    xuanbg
    Jan 15, 2019
    87
    自然风光图片不错
    imn1
    imn1
    Jan 15, 2019
    88
    自从有电脑开始就不缺这种数据,而且是已经标注了的……
    leopku
    leopku
    Jan 15, 2019 via iPhone
    89
    leopku
    leopku
    Jan 15, 2019 via iPhone
    90
    @imn1 不分享说个猫线
    imn1
    imn1
    Jan 15, 2019
    91
    @leopku
    我只是想说,搞技术的,甚至仅仅只是会用现成工具的,22w 都只是小数目

    而且,在这点上我比较相信人民警察的能力,自己拿没事,分享则要慎重
    lyseky
    lyseky
    Jan 15, 2019 via Android
    92
    收藏不看系列
    fengc
    fengc
    Jan 15, 2019 via iPhone
    93
    flashrick
    flashrick
    Jan 15, 2019
    94
    这谁顶得住啊
    DRcoding
    DRcoding
    Jan 15, 2019
    95
    7129 次点击 ∙ 263 人收藏 ∙ 5 人感谢

    热爱学习的我觉定让它变成 264 人收藏
    hasbug
    hasbug
    Jan 15, 2019
    96
    翻看了一些,都是欧美,也没看到真漏的,失望,还不如 sex 站直接看
    huruwo
    huruwo
    Jan 15, 2019
    97
    fork 就完事了
    Tourin
    Tourin
    Jan 15, 2019
    98
    已 star
    Rizio
    Rizio
    Jan 15, 2019
    99
    @heiyutian 说起来有点下流,我。。我好了
    Rizio
    Rizio
    Jan 15, 2019
    100
    @hasbug 就是要这种没漏的,留给自己 YY 的空间,嘿嘿嘿嘿
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5053 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 220ms · UTC 01:39 · PVG 09:39 · LAX 17:39 · JFK 20:39
    ♥ Do have faith in what you're doing.