V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  rrfeng  ›  全部回复第 200 页 / 共 205 页
回复总数  4099
1 ... 192  193  194  195  196  197  198  199  200  201 ... 205  
2013 年 7 月 9 日
回复了 Air_Mu 创建的主题 DotA 30个DOTA2完美世界中国服务器邀请码。需要的自取
需要下载完客户端才能获得激活码?
2013 年 7 月 8 日
回复了 nichan 创建的主题 DotA Dota2国服还有很长一段路要走啊,和谐系统太逗了。
目前几乎所有的国内游戏都是这样
2013 年 7 月 8 日
回复了 bjlbeyond 创建的主题 问与答 大家用QQ的小号加过你们女朋友吗?
我的小号就是给大号加好友用来当女朋友的我会说么
2013 年 7 月 4 日
回复了 1to3 创建的主题 问与答 怎样申请ATM机?
@kurtrossel
NB!
2013 年 7 月 3 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@likuku
问题是你根本不需要排序啊。
按照你的描述我觉得 28 min 至少有 27.5 min 被 sort 吃掉了~~

另外既然你都能排序……那么换成 awk 我所说的吃内存问题就根本不存在了 - -!
2013 年 7 月 2 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@lovejoy
-F ',' 以逗号作分隔符
/pattern1/&&/pattern2/ 匹配两个条件的行
{a[$7" "$8]++} 满足上面条件的行 以 [$7" "$8] 作为键存入数组a,如果重复就是 ++ 递增

END{} 在所有文件读入结束之后执行的程序块,输出数组a的所有键以及值
2013 年 7 月 2 日
回复了 xatest 创建的主题 Puppet puppet有没有办法接收通知来触发部署?
自己写一个呗,通过另一种方式比如通知 shell 执行 puppet kick
不过貌似 kick 被砍掉了&……
2013 年 7 月 2 日
回复了 mantianyu 创建的主题 分享发现 还有25分钟,google reader就关闭了
@airyland 额,刚才是看错了。木有搭梯子
2013 年 7 月 2 日
回复了 mantianyu 创建的主题 分享发现 还有25分钟,google reader就关闭了
关了……
2013 年 7 月 2 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@likuku
cat *|grep 问题倒不是很严重,反正是一次读取
你这句的关键是 sort ,而你的需求里完全没有排序的必要,计数而已
2013 年 7 月 1 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@likuku
其实还是错了。。。uniq -c 是计数,我看成去重了哈哈

awk -F ',' '/@qq\.com/&&!/success/{a[$7" "$8]++}END{for(i in a)print i,a[i]}'

你跑跑试试多长时间呗

最后消耗的内存相当于 ... | sort | uniq 之后每行作为 key 存入一个数组,比文件大小略大。
2013 年 7 月 1 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@likuku
修正刚才的awk,有错误
awk -F ',' '/@qq\.com/&&!/success/&&!a[$7,$8]++'
2013 年 7 月 1 日
回复了 Livid 创建的主题 Hadoop Hadoop + Python
@likuku
sort 开销巨大……
你的任务完全可以只用 awk 一次搞定

awk -F ',' '/@qq\.com/&&!/success/{!a[$7,$8]++}'

唯一的缺点就是最后一步去重可能会吃掉大量内存,视你的数据情况而定
目前就加了一个不想退的 QQ 群
完全靠几个管理时不时出来喊『少闲聊,多聊技术』
并且有大侠一直很耐心的解决各种问题。

说到底,QQ 群完全不是一种有效的交流手段。
技术?邮件列表/论坛
友情?直接打电话
也就适合消遣/勾搭/……
1 ... 192  193  194  195  196  197  198  199  200  201 ... 205  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1123 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 55ms · UTC 17:52 · PVG 01:52 · LAX 10:52 · JFK 13:52
♥ Do have faith in what you're doing.