tmkook
0.51D
V2EX  ›  问与答

问:多个 Excel 文件共百万条姓名手机号如何快速去重合并成一个文件?

  •  
  •   tmkook ·
    PRO
    · Aug 5, 2020 · 3833 views
    This topic created in 2281 days ago, the information mentioned may be changed or developed.
    Supplement 1  ·  Aug 5, 2020
    用 PHP 写完了,感谢各位!!!
    24 replies  •  2020-08-06 12:13:39 +08:00
    Asshasahole
    Asshasahole
    Aug 5, 2020❤️1
    1
    招几个人, 每个人划分号段区间, 挨个复制号段内的手机号, 粘贴到新的 Excel 里, 粘贴前搜索一下排重.
    最后几个人的 Excel 复制+粘贴合并就行啦, 注意新的 Excel 要同一个格式噢.

    Excel 的函数应该可以做到文件内去重吧?
    runking
    runking
    Aug 5, 2020
    2
    可以帮你解决,有偿
    yvshen
    yvshen
    Aug 5, 2020
    3
    编程解决吧,用 java 、python 写个脚本
    tmkook
    tmkook
    OP
    PRO
    Aug 5, 2020
    4
    @runking 我会编程,就是想看看坛子里大神们是否有不用编程的快捷方法,或是否有轮子可用
    Pho3nix
    Pho3nix
    Aug 5, 2020
    5
    pandas
    LiYanHong
    LiYanHong
    Aug 5, 2020
    6
    先合并成一个文件,用 excel 里自带的去重功能试试
    iamwho
    iamwho
    Aug 5, 2020
    7
    “我要用记事本开始记事了!”
    dexterzzz
    dexterzzz
    Aug 5, 2020 via Android
    8
    power bi,power query 合并文件
    renmu123
    renmu123
    Aug 5, 2020 via Android
    9
    用 pandas 太简单,预计十几行解决
    xyd1205148795
    xyd1205148795
    Aug 5, 2020
    10
    如果格式一样,直接放一个文件夹里,然后用 excel 从文件夹查询加载就好了,不过 excel 加载的行数有限制,好像一百多万行
    Croxx
    Croxx
    Aug 5, 2020 via iPhone
    11
    x 产?
    Vegetable
    Vegetable
    Aug 5, 2020
    12
    @LiYanHong #6 这样一般电脑都受不了...
    tmkook
    tmkook
    OP
    PRO
    Aug 5, 2020
    13
    @Croxx 不是 H 产,绝对是正向的!!!
    qiayue
    qiayue
    Aug 5, 2020
    14
    转成 csv,用程序处理
    tmkook
    tmkook
    OP
    PRO
    Aug 5, 2020
    15
    @LiYanHong
    @Vegetable
    @xyd1205148795 本来想用 VBA 搞,但是百万级数据还没试过估计会卡死。目前想法是先导入 Mysql 然后再写代码查询去重。
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Aug 5, 2020
    16
    pandas.read_excel 完事
    cmllwxxl
    cmllwxxl
    Aug 5, 2020
    17
    Snapde 用这个简单
    admin7785
    admin7785
    Aug 5, 2020 via iPhone
    18
    @tmkook #15 百万条数据,字段不多的话( excel 文件不是很大的话),倒入数据库还是可以的,我 60 多兆,倒入半个小时左右
    opengps
    opengps
    Aug 5, 2020
    19
    导入数据库,几行 sql 搞定,不超过 10 分钟
    ccoming
    ccoming
    Aug 5, 2020
    20
    @dexterzzz +1 。power query 好了,16 版本里面就有这组件。
    xinghen57
    xinghen57
    Aug 5, 2020 via iPhone
    21
    1 、转成 csv,找个编辑器(比如 emeditor )直接去重
    2 、导入数据库,去重
    这数据量对 excel 太大了。
    xinghen57
    xinghen57
    Aug 5, 2020 via iPhone
    22
    猛然惊觉,你这是找解决方案来了😂
    TimePPT
    TimePPT
    Aug 5, 2020
    23
    @xinghen57 都转成 csv 了,直接合并了 sort -u 搞定
    594duck
    594duck
    Aug 6, 2020
    24
    最简的就是导入 Access,然后一把搞了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4962 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 09:11 · PVG 17:11 · LAX 01:11 · JFK 04:11
    ♥ Do have faith in what you're doing.