打算构建一个无偏语料库，因此需要爬取各行各业相关的网站，想问一下大家知道哪些主要内容是文本的网站。 目前收集到的网站有大概以下几个分类
这里并没有列全，目前在抓的有 60 个网站左右，每天能获取 300K 个页面，单机。想问问大家有没有什么别的类目、行业、领域以及各分类下的文字类网站可供补充？无所谓内容质量好坏。
 |
mushan099Apr 25, 2018 via iPhone
1
其他类别不知道，影视那一栏我倒是了解不少(^-^)/
|
 |
2
@mushan099 来几个例子？
|
 |
3
@rock_cloud t66y sixinsix 91 avgle 大哥只能帮你这么多了。
|
 |
jiangnanyanyuApr 25, 2018 via Android
4
我来一个吧，javbus,javlib
|
 |
obApr 25, 2018 via Android
5
cnbeta
|
 |
aice114Apr 25, 2018 via Android
6
v2ex
|
 |
huluhuluApr 25, 2018 via iPhone
8
不是 1024 最值得吗？
|
 |
jasonyang9Apr 25, 2018
9
nytimes
arstechnica slashdot |
 |
x86Apr 25, 2018
10
avmoo
|
 |
fengyjApr 25, 2018 via Android
11
影视竟然没有 douban
|
 |
chromingApr 25, 2018 via Android
12
单机爬这么多是用了代理池？
|
 |
logOoApr 25, 2018
13
pxxnhub
|
|
14
@huiyifyj 有，在论坛分类里，抓全站
|
|
15
@chroming 没有代理池，因为站点多，所以每个站慢慢爬，也不是问题
|
|
16
@aice114 我居然忘了 V 站，话说 V 站是不是有访问频次限制？
|
 |
akiraApr 25, 2018
17
3l 老司机
|
 |
mhycyApr 25, 2018
18
|
 |
torbrowserbridgeApr 25, 2018
19
91
|
 |
yenseApr 25, 2018
20
煎蛋站长瑟瑟发抖...
|
|
21
@yense jandan 已加入豪华午餐，放心，速度非常慢，大约一分钟一个请求，不会占用很多流量的
|
|
22
@yense 额。。错了，应该是 20 秒一个请求。。。
|
 |
greatghoulApr 25, 2018 via Android
23
pornhub
|
 |
F1024Apr 25, 2018
25
91 哈哈哈哈
|
 |
yunyeApr 25, 2018 via Android
26
抓谷歌比较划算，抓一个站啥都有了
|
|
27
@yunye Google 反爬做得好，不好抓，费时费力
|
4
Select Language