最近遇到一个站的页面无法通过 curl 获取内容

This topic created in 960 days ago, the information mentioned may be changed or developed.

好像是有同源策略限制，不怎么懂。直接打开目标页面正常显示，通过 curl 获取的却是例外的内容，无解了吗？

curl

同源策略

内容

19 replies • 2024-03-22 09:14:22 +08:00

tool2d

Mar 21, 2024

同源策略是针对浏览器的，而 curl 是纯客户端，并不存在这个限制，应该是别的什么原因。

把地址贴出来看看呗。

Routeros

Mar 21, 2024

盲猜 User-Agent

tubinorg

Mar 21, 2024

还有可能是重定向

NessajCN

Mar 21, 2024

你看浏览器请求头是啥，复制一份一样的进 curl -H 里再试试

doublespout

Mar 21, 2024

有一次性的 token 这种令牌的限制？ ajax 接口还是页面？

tool2d

Mar 21, 2024

@tubinorg 还有可能是 nonce ，防止重返攻击的。

浏览器访问过一次，参数失效，curl 客户端就不能访问了。除非把浏览器这个请求给拦截下来不发送。

1018ji

Mar 21, 2024

你为啥不贴出来，又不犯法

abccccabc

Mar 21, 2024

会不会是套了一层 cf 的网站呢？

yuzo555

Mar 21, 2024

curl 的默认 User-Agent 是 curl/版本号，特别容易识别并屏蔽。

zhenwang

Mar 21, 2024

在浏览器上，网络请求中，针对请求，右键 —— 复制 —— “以 cURL 格式复制”，再在 curl 中试下。

j869716

Mar 21, 2024

学会使用 `-vvv`

err1y

Mar 21, 2024 via iPhone

ua 或者 ja3

keepfun

Mar 21, 2024 via iPhone

现在好多都是渲染出来的 curl 抓取早都过时了

yolee599

Mar 21, 2024

Firefox：
浏览器打开 -> 按 F12 -> 选择“网络” -> 刷新 -> 选中一个请求 -> 右键 -> 复制值 -> 复制为 cURL 命令 -> 终端粘贴测试

yanw

Mar 21, 2024

1. 针对 agent ip 被 block 了
2. 页面是 js 渲染的

AJ1if4

Mar 21, 2024

@fenglangjuxu 牛

gamexg

Mar 21, 2024

@yolee599 #14 楼主, chrome 也支持这个功能

iminto

Mar 21, 2024 via Android

这不很正常吗。

UA 不一样，curl 也无法渲染页面。。

还有终极杀器，指纹不一样

ColoThor

Mar 22, 2024

需要 js 渲染，没浏览器环境就不行了