比如某网站的robots.txt为
User-agent: *
Allow: /
它的某类页面的url是有规律的，为 http://abchost/detail/123
我从1到100000遍历爬这类页面，算违反robots吗？
User-agent: *
Allow: /
它的某类页面的url是有规律的，为 http://abchost/detail/123
我从1到100000遍历爬这类页面，算违反robots吗？
This topic created in 4500 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jul 10, 2014
没想到楼歪了，
其实我真实的困惑是在5楼：
就是我抓的时候，突然想到，
如果 http://abchost/detail/555 从来没有出现在其它页面的href里，就是如果一个url完全是个孤岛，那么搜索引擎会不会找到这个页面？
其实我真实的困惑是在5楼：
就是我抓的时候，突然想到，
如果 http://abchost/detail/555 从来没有出现在其它页面的href里，就是如果一个url完全是个孤岛，那么搜索引擎会不会找到这个页面？
 |
1
不算。Allow: / 了。但是别爬太过火把人机器搞挂了。
|
1
|
msg7086Jul 9, 2014
4
2楼被删了或者折叠了。
|
 |
5
还有个疑惑是：
如果 http://abchost/detail/555 从来没有出现在其它页面的href里，搜索引擎会抓到这个页面吗？ |
 |
6
V2EX 有个功能叫 block，如果你 block 其他人，你就看不到他的回复了。这不是 bug，OK？
|
 |
alexkhJul 9, 2014
7
User-agent: *
Allow: / 意思是所有的UA，允许抓取所有页面。 另外，自己的爬虫也不用都遵守这种规则吧。 |
 |
kennedy32Jul 9, 2014
8
奇怪，也不知道2楼是谁，我也看不到
|
 |
mkeithJul 9, 2014
10
难道2楼这么遭人Block啊,我也看不见啊.
|
|
11
我可以看到，不过是一条毫无意义的灌水。估计是被其他管理员 hide 了。
|
 |
1994SJul 9, 2014
12
我也看不见-_-a
|
 |
ChiangDiJul 9, 2014
13
我一个人都没Block也没看到。
|
 |
dong3580Jul 9, 2014 via Android
14
这个应该没问题吧，不算违反robots协议。试试先访问一下协议内容再过滤抓。
—— 我也看不到，表示我没block任何人。难不成二楼复读了一楼的了？ |
 |
txltyJul 9, 2014
15
你个小脚本装什么蜘蛛。。
|
|
16
|
 |
arcasJul 9, 2014
18
竟然还有其他管理员。。
|
 |
jeansfishJul 9, 2014
19
啊，见到管理员的世界了。
歪楼不算灌水吧（事实上已经歪了 ====================== 楼主要爬V2EX吗？ |
 |
coosirJul 9, 2014 via iPad
25
最好显示如：23回复（1折叠）
点击折叠数可展开 |
|
26
|
|
28
|
 |
yangqiJul 9, 2014
29
@Livid 采不采纳是你的自由，大家的建议就一个目的，让被删或者被隐藏的帖子至少有个提示。
而且二楼内容是不是垃圾内容这个个人看法不一样的，我觉得只是歪楼了而已，不算垃圾啊。如果任何人的内容都可以被删除或者隐藏，只是基于管理员个人的喜好和判断的话，对于社区来说绝对不是好事。 |
 |
shakoonJul 10, 2014
33
原来这里除了站长还有其他管理员啊，我一直以为就一个人
|
 |
mikuazusaJul 10, 2014
34
不能忽略这里确实有个BUG...
正常逻辑应该是Block之后用户见到的回复数量还是显示出来的数量而不是包含被block了的数量吧? 起码单纯地从用户的角度说,看到了一个错误的数字可能会导致更多的误解...@Livid |
|
35
@mikuazusa 那我希望大家能够有个默契就是，如果在 V2EX 看到某些楼层没显示出来，那么只有几种可能就是：
- 那个人被 block 了 - 那层楼是纯粹的不需要关注的无意义信息 如果这个地方动态计算的话，造成的后果就是每个人看到的楼层数都不一样，因为每个人的 block 列表不一样。 |
 |
yfdyh000Jul 10, 2014
36
@Livid 那么把隐藏的内容从回复总数中减掉吧，反正没人看得见。但既然不想写多余的代码，干脆直接把回复总数和“直到 ...”拿掉吧，反正右侧有序号，似乎“没有意义”。
现在上面写着“33 回复”，下面却只有32个回复，就好像用户不识数一样，绝对不是良好的设计。 |
|
yangqiJul 10, 2014
38
|
|
yfdyh000Jul 10, 2014
39
@Livid 用户真的该花费这种学习成本吗。RTFM？但这连手册都没有呢。
如果真的希望保持一致，那么：右侧的楼层号目前是显示序号，而不是真正的序号，这样真的好吗，讨论指向可能出现错位。如果那是真正的序号，这个问题也将有所缓解。 总之，不太满意这种略显诡异的设计，但如果站长坚持，只能。。。 |
|
40
|
|
41
@Livid 抱歉，我刚看到的时候，下意识的就说是个bug，确实不谨慎。
之前浏览的时候没有注意过楼号，只是顺着浏览的，这次是因为自己提问，看到回复比较敏感。 最近写了一堆phpunit的东西测自己新写的功能，有一个测到的bug就是删spam内容后，计数表内没有-1，所以就下意识的以为在v2ex遇到了同样的bug了，没有任何幸灾乐祸的意思。。 |
 |
shinivJul 10, 2014
43
话说 跟话题扯的有点远了把- -！
|
|
44
@qiongqi 只要网站没有禁止索引，通常来说这都没有问题，哪怕它是个孤岛页面。就如同很多因被索引而泄漏数据的案例一样，通常不认为这是蜘蛛的错，信息安全是网站的责任。
另外，Google等蜘蛛估计也会猜测连续的索引参数，例子： http://webmasters.stackexchange.com/questions/25560/does-the-google-crawler-really-guess-url-patterns-and-index-pages-that-were-neve |
|
45
以后大家在面试产品设计人员的时候，可以把这个帖子作为一个案例让被面试者谈谈自己的想法。
这是一个没有答案的开放问题。 我所说的，可能全是错的。 |
 |
riophaeJul 10, 2014
48
我同意 @Livid 的设计. 允许用户去查看被折叠的消息纯粹是浪费时间.
因为很多人都有类似 "偷窥" 的癖好, 想要看看那些一般情况下看不到的东西. 所以只要允许用户查看, 那么一定会有很多很多用户故意去点的. 这真的浪费时间. |
 |
a154312237Jul 10, 2014
49
彻底歪了...
|
|
alexkhJul 10, 2014
50
@qiongqi 不会发现。除非站长通过各种方式将这个页面展示出来，否则将永远不会被发现。
搜索引擎也面临这个难题，所以提供了sitemap等多种形式，去接触这些孤岛页面。 |
 |
ShieffanJul 10, 2014
51
我也不知道2楼是谁 --
|
 |
icanforkJul 10, 2014
53
楼歪了
（我会不会被block掉？） |
 |
jsjscoolJul 10, 2014
54
@livid 的观点我再赞同不过,如果为了一些花活功能对UI做大改造，完全就是扯淡。
就好比在网站加个天气显示，加个时钟。用户是觉得好啊，多方便。加了之后其实没多大用(只是举个例子) |
|
55
@qiongqi
这样我可不可以理解你的页面相当于查询数据库，每个页面对应id号就是查询标识。 如果专门做该站的爬虫的话，我会可能根据大略规律爬出来，那么你这个555页面数据也出来的。 大型搜索引擎应该对常用的链接形式都有关注吧？感觉可以出来的样式。 我之前见到一个简单的网站，有个页面没有任何链接，但是在百度上搜这个网站名的时候出来的正是这个页面。 |
 |
56
这是livid的论坛，充斥着其自己的意志以及权力。如果不喜欢其人的做事方式，或许也只能无视或者离开。
|
 |
saybyeJul 10, 2014
57
歪了。。。
|
 |
phyngJul 10, 2014
58
|
 |
tomneeJul 10, 2014 via Android
61
@Livid 你实在是很有趣. dasher这个账号已经登陆不上去了。你的行为正好应证了我所说的。看不出我哪里有用秽语侮辱你，本身对你看法很中性。现在算是明白为什么有人要黑你。随便封号，就是你所谓做有趣的事情么。你技术能力和对其的态度让人向往，你的这种小心眼偏执不会让人觉得难相处么？
|
 |
64
我觉得搜索引擎理论上是能爬都爬的，只是在遇到黑白名单才“特殊”处理，至于怎么处理还是爬虫自己定的准则，一般情况下，爬了而不发布或者遇到黑名单就不爬
|
 |
65
您所说的“孤岛”，搜索引擎用常规方法是找不到的。
但有很多非常规方法可以帮助搜索引擎发现这个链接，例如，把用户浏览器里的网址发回给搜索引擎。这昂没如果用户访问了这个孤岛，搜索引擎也知道了这个孤岛的存在。 |
|
tomneeJul 10, 2014 via Android
66
@Livid …… 你怎么又在印证我所说的。我真没想黑你，你不值得我去所谓的黑。看把你气的。到底是谁玻璃心？ 专门注册？那个号是上个月注册的。不要逃避话题好吗？因为一句话你看着不爽封号是事实。得，还真是不用交流了。您去做您的事吧。我真没那么无聊专门去黑你。还什么写文章，真说的出口。你都快30的人了，怎么这么沉不住气？说些有反对性质的话就是黑你？你也太以自己为中心了。你要不要在你所有看到的资料上加一个过滤器？抱歉楼主，污染了你的贴。
|
|
tomneeJul 10, 2014 via Android
68
@Livid 随机登罢了，没有您有种。您可完全封掉我。好了，真没必要争论了，我的原意只是觉得你与会员讨论的语气不怎么好，不知道你这么有攻击性。我没有兴趣去专门指责你。我也只是评论罢了。您也不用继续含沙射影发贴发推。欣赏您审慎对产品的态度。只是咱们别在歪楼了。去做您有趣的事吧，别浪费时间在回帖上面。天热，注意消暑 ：)
|
|
69
GFW也是这么想的,帮我们Block了好多的东西.
|
 |
ctsedJul 10, 2014
70
如果不喜欢其人的做事方式，或许也只能无视或者离开。
按这个逻辑来看行动，这哪里是黑，明明是真爱啊 233 |
 |
mhycyJul 10, 2014
71
只能说任何一个网络社区都是管理员的社区。。。。
有谁反对么？请给出反例~ |
Select Language