• 请不要在回答技术问题时复制粘贴 AI 生成的内容
warmheartli
V2EX  ›  程序员

自己基于影视剧字幕建设了一套三千多万近 1G 的高质量聊天语料库,求一起玩耍

  •  1
     
  •   warmheartli ·
    lcdevelop · Sep 18, 2016 · 11340 views
    This topic created in 3712 days ago, the information mentioned may be changed or developed.

    我用了洪荒之力,想到了这个办法,并用半个月时间才建成,绝对有用,我的聊天机器人有戏了,大家轻拍哈 http://www.shareditor.com/blogshow/?blogId=112

    Supplement 1  ·  Sep 18, 2016
    这份数据的主要用途是作为聊天机器人的训练语料库,用于聊天机器人技术的学习和研究,随便抽了语料中的几行(数据一共 33042896 行),如下,
    ……
    这是什么
    是寄给医院的
    井崎…为什么?
    是为了小雪的事情
    怎么回事?
    您不记得了吗
    在她说小雪…就是在这种非常时期和我们一起舍弃休息时间来工作的护士失踪时…
    医生 小雪她失踪了
    你不是回了一句「是吗」吗
    是吗…
    不 对不起
    跟我道歉也没用啊
    而且我们都知道您是因为夫人的事情而操劳
    但是 我想小聪是受不了医生一副漠不关心的样子
    事到如今再责备医生也没有用了
    是我的错吗…
    我就是这个意思 您听不出来吗
    我也难以接受
    因为同情医生 所以才没有说要辞职
    的确 死亡在村子里蔓延
    正因为如此 今年的霜月神乐才应该办得盛大而庄严
    我赞成田茂的话
    正是在这种非常时期才应该办好祭神仪式 驱除晦气
    ……
    32 replies  •  2016-09-19 11:03:36 +08:00
    cctvsmg
    cctvsmg
    Sep 18, 2016❤️2
    1
    有意思,我以前有个 idea 是,做个微信和 qq 插件,然后可以分析出和妹子聊天,哪儿说错话了,比如从对方反应时间分析,从聊天话题分析等等,这在相亲市场估计很有用
    jhaohai
    jhaohai
    Sep 18, 2016 via iPhone
    2
    好思路,不知道只抓香港局的话会不会说话一股 tvb 味道
    YvesX
    YvesX
    Sep 18, 2016 via iPhone
    3
    很有意思。
    mdyh
    mdyh
    Sep 18, 2016
    4
    @cctvsmg 这种分析有意思,求认识。加个 Q1348284898
    shakespaces
    shakespaces
    Sep 18, 2016 via Android
    5
    666 ,已 mark
    northisland
    northisland
    Sep 18, 2016
    6
    =——=

    是瞎侃式的对话么~~

    正好最近想玩玩那个 conversational model ,马克
    jy01264313
    jy01264313
    Sep 18, 2016
    7
    给力啊,攒一个
    soland
    soland
    Sep 18, 2016
    8
    拿这个收钱,会有版权上面的问题吧?
    wocao5566
    wocao5566
    Sep 18, 2016
    9
    卖就卖
    别求啥玩耍了 真诚点
    hinkal
    hinkal
    Sep 18, 2016
    10
    字幕拿来做翻译机器人更有用吧
    tony1016
    tony1016
    Sep 18, 2016
    11
    没有在线体验吗?
    21grams
    21grams
    Sep 18, 2016
    12
    这有啥用啊,说说有啥用途我考虑下值不值得花 9 块 9
    demoxu
    demoxu
    Sep 18, 2016
    13
    什么都没看到啊,起码来电 sample 啊
    直接 9 块 9 ,下手的人少啊
    SeptimusX
    SeptimusX
    Sep 18, 2016
    14
    应该搞个老译制片风格的语料库…
    h3nng
    h3nng
    Sep 18, 2016
    15
    @cctvsmg
    之前有个 APP 也是类似的 idea ,和机器人妹纸聊天玩耍,如果你说错话或者做的事情不对,就会扣减分数受惩罚啥的。
    DionChan
    DionChan
    Sep 18, 2016
    16
    @cctvsmg 这个很厉害啊,相亲训练师
    warmheartli
    warmheartli
    OP
    Sep 18, 2016
    17
    @hinkal 没有做平行语料,单纯搞中文了,因为想做一个中文的聊天机器人
    warmheartli
    warmheartli
    OP
    Sep 18, 2016
    18
    @tony1016 很快就会上线,请多关注我的分享
    warmheartli
    warmheartli
    OP
    Sep 18, 2016
    19
    @21grams 谢谢提醒,补充上了
    warmheartli
    warmheartli
    OP
    Sep 18, 2016
    20
    @demoxu 谢谢提醒,补充上了
    menc
    menc
    Sep 18, 2016
    21
    看 sample ,觉得语义并不强啊。。。电影字幕的 context 还是过多的通过表演表达出来了,单看字幕什么都看不出。。。
    bearqq
    bearqq
    Sep 18, 2016
    22
    我取了某群聊天记录 2012 年到 2016 年训练, telegram 机器人在, https://telegram.me/the_BB_bot
    其实我想说的是效果很差,试试就知道了。。
    hinkal
    hinkal
    Sep 18, 2016
    23
    @warmheartli 哦哦,如果能搞一份中英对照的,估计我及某些人会感兴趣拿来训练机器翻译
    ooh
    ooh
    Sep 18, 2016
    24
    想法很 ok 啊
    muziki
    muziki
    Sep 18, 2016 via iPhone
    25
    Google 新出来的 Allo 用机器学习预测,可以敷衍式对话
    gladuo
    gladuo
    Sep 18, 2016
    26
    可能还得认真过滤一下,字幕好多都是听译,不好的数据再多也 train 不出来好 model
    kepenj
    kepenj
    Sep 18, 2016❤️1
    27
    二营长!你他娘的意大利炮呢
    sunchen
    sunchen
    Sep 18, 2016
    28
    和楼主有相同想法,也怕了几个站的字幕。但是有个问题,对话边界在字幕文件里是没有的,又不好识别
    mozutaba
    mozutaba
    Sep 18, 2016
    29
    @cctvsmg 报名内测
    GentleSadness
    GentleSadness
    Sep 18, 2016 via Android
    30
    我记得美国有个最大的用于科研的语料库,好像是免费的
    dreamtrail
    dreamtrail
    Sep 19, 2016
    31
    楼主能不能放个片段出来听听?
    warmheartli
    warmheartli
    OP
    Sep 19, 2016
    32
    @dreamtrail 这个不是听的哈,是文本(前面列了一些),跟影视剧基本没有关系了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4149 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 72ms · UTC 09:23 · PVG 17:23 · LAX 01:23 · JFK 04:23
    ♥ Do have faith in what you're doing.