试了下京东 www.jd.com/robots.txt 跳首页了。这中间是有什么故事让其它搜索引擎没有抓取他家数据。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1803 days ago, the information mentioned may be changed or developed.
 |
1
|
2 |
XusuallyDec 2, 2021
2
确实很奇怪，之前是有的。
|
 |
cairnechenDec 2, 2021
3
User-agent: *
Disallow: /?* Disallow: /pop/*.html Disallow: /pinpai/*.html?* User-agent: EtaoSpider Disallow: / User-agent: HuihuiSpider Disallow: / User-agent: GwdangSpider Disallow: / User-agent: WochachaSpider Disallow: / 去年 11 月 10 号因为未知原因下线了 |
 |
muzuigetDec 2, 2021
4
robots.txt 只是君子协定。
|
 |
5
京东其实没有动力做反爬，因为它主要以自营为主，所以和亚马逊类似逻辑，成交越多越好。淘宝的逻辑会有点不一样，因为淘宝盈利点在于店铺流量，所以让搜索引擎把流量吸走的做法是不符合它自身利益的。
|
|
ytll21Dec 2, 2021
6
恩，这只是我的一点不成熟的想法，欢迎指正 dodge
|
 |
7
放 robots.txt 对国内搜索引擎反而是一份 sitemap
|
 |
liuzhaowei55Dec 2, 2021 via Android
8
各家爬虫会使用特别的 ua ，针对 ua 做了处理吧
|
 |
locozDec 2, 2021
9
有没有 robots.txt 都不影响被爬和反爬，robots.txt 只是君子协定而已。
|
 |
11
赞同#5 说法，以自营为主的情况下，其实京东相比之下，并不关心流量来源，重要的是有流量，其次是有成交。所以应该是巴不得四面八方的人给京东做引流，反正是从 A 搜索来成交，还是从 B 搜索来成交，都是自营，没差别。
至于京东的第三方商家，京东自己都不太管他们死活。 而淘宝需要自己掌握流量的核心诉求是，淘宝自己要卖流量给第三方商家，如果大量站外流量，会导致淘宝自己无法卖流量。 |
 |
karlokuDec 2, 2021
12
爬虫和搜索引擎分开说
我是搜索引擎我也不给自营的电商网站做索引啊, 这都是卖钱的广告流量我主动送给他干什么嘛. |
 |
wqhuiDec 2, 2021
13
robots 只是说你不想被爬，别人爬不爬还是看别人意愿。。。
|
 |
pengtdydDec 2, 2021
14
我记得之前有个 JD 的人写了一本书 叫亿级流量。。。里面写了一段关于京东爬虫的内容，去看看吧。
|
 |
12101111Dec 2, 2021
15
Google 5900x site: jd.com
第一条 https://item.jd.com/100016046842.html 第二条 https://item.jd.com/10031652556617.html 显然是允许被爬的 |
 |
16
京东希望你来爬，但是不希望你爬价格做比价。所以京东反扒策略一般都做在价格显示上。
淘宝就根本不希望你来爬，所以淘宝把反扒策略做到页面上。 |
 |
17
robots: "不要 不要 不要"
爬虫: "叫吧, 你越叫我越兴奋" |
 |
mostkiaDec 3, 2021
19
这玩意儿防君子不防小人，真的要做反爬，还得上非人类识别技术，某宝上偶尔客户端刷的快了，都会出现滑动条识别是不是爬虫。
|
 |
realskywalkerDec 3, 2021
20
你让我不爬我就不爬？
|
 |
solarDec 3, 2021
24
robots.txt 只是个君子协议而已，并没有法律效力或强制性的。
|
 |
jiafeiblogApr 22, 2022
25
amazon 还是有反爬的，只是人家的容忍度要高得多
|
Select Language