Home Sign Up Sign In
Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
iwaifor
V2EX  ›  Linux

文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。

  •   
  •   iwaifor · Jun 25, 2018 · 2228 views
    This topic created in 2970 days ago, the information mentioned may be changed or developed.
    文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。
    文本格式如下
    2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
    2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
    2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
    2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
    2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
    2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
    2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
    2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
    2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
    2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
    2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
    2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
    2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
    2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468
  • 2018-06-17
  • Music
  • mp3
  • 阎维文
    12 replies  •  2018-06-26 10:59:48 +08:00
    jswh
        1
    jswh  
       Jun 25, 2018
    excel
    iwaifor
        2
    iwaifor  
    OP
       Jun 25, 2018
    @jswh 数据比较多 用 awk 能实现吗 搜了半天没找到解决办法
    SaulLawliet
        3
    SaulLawliet  
       Jun 25, 2018   ❤️ 2
    大概这样吧

    awk -F'|' '{if(a[$2] < $3) {a[$2] = $3; b[$2] = $0}} END{for(i in b) print b[i]}'
    CEBBCAT
        4
    CEBBCAT  
       Jun 25, 2018 via Android
    最终仅输出一行的意思？
    iwaifor
        5
    iwaifor  
    OP
       Jun 25, 2018
    @SaulLawliet 可用，很神奇，麻烦问问，这个具体是 awk 的什么用法
    imn1
        6
    imn1  
       Jun 25, 2018
    「第二」是至下标 2 吧？否则按语文理解你这去重只剩下一行啊
    lululau
        7
    lululau  
       Jun 25, 2018
    来个 Perl 版本的：

    perl -F'\|' -ane '{$h{$F[1]}=$_ and $c{$F[1]}=$F[2] if $c{$F[1]} < $F[2]}END{print for values %h}'
    lululau
        8
    lululau  
       Jun 25, 2018   ❤️ 1
    再来个 Ruby 版的：

    ruby -F'\|' -ane 'x||=[]; x<<$F;END{x.group_by{|e|e[1]}.map{|_,y|y.max_by{|l|l[2].to_i}*"|"}.each{|l|puts l}}'
    tamlok
        9
    tamlok  
       Jun 25, 2018 via Android
    楼下再补充个 C 版本：
    SaulLawliet
        10
    SaulLawliet  
       Jun 25, 2018
    @iwaifor 就是基本操作呀;)
    具体你可以看下这个链接 https://www.tutorialspoint.com/awk/awk_workflow.htm
    ant2017
        11
    ant2017  
       Jun 25, 2018
    awk 'BEGIN{FS=OFS="|";} {if($2 in a){if($3>a[$2]){a[$2]=$3;b[$2]=$0;}}else{a[$2]=$3;b[$2]=$0;}} END{for(i in b){print b[i]}}' aa.unl
    iwaifor
        12
    iwaifor  
    OP
       Jun 26, 2018
    @lululau 6666 一把骚操作，很优秀
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1517 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 16:55 · PVG 00:55 · LAX 09:55 · JFK 12:55
    ♥ Do have faith in what you're doing.