有没有爬虫王！可以教下我 Websocket 怎么爬吗?

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 455 days ago, the information mentioned may be changed or developed.

想要爬的网站： https://crushon.ai/character/7e388767-63c7-45e3-b922-53458b4ae4f7/chat

一直请求 403 ，难受，搞不定，用无头 playwrihgt ，又不过 cloudflare ，请求又被拒绝，难搞！

想请教一下 v2 的各位佬，怎么爬这个网站聊天对话。

爬虫

WebSocket

Cloudflare

30 replies • 2025-08-15 09:50:24 +08:00

peteretep

Aug 8, 2025

你应该发到程序员版面《恕我直言，用 websocket 发送对话，根本没有人能爬到我的内容》

lisxour

Aug 8, 2025

你发外包我可以接

irrigate2554

Aug 8, 2025

看你这个描述，不是卡在 ws 而是卡在过不了 cf

cbythe434

Aug 8, 2025

有头手工点 cloudflare

evan1

Aug 8, 2025

我有个办法，别用无头，用有头。手动过下 cf ，然后程序自动爬。

rabbbit

Aug 8, 2025

NSFW 警告，不要看首页

coderzhangsan

Aug 8, 2025

😮，websocket 也能爬？如果能爬，那基于 TCP 协议的应该都能爬吧？

foufoufm

Aug 8, 2025

@peteretep 今日 funning

musi

Aug 8, 2025

用 electron 开 cdp 监听 ws

xiaoming1992

Aug 8, 2025 via Android

@rabbbit 你跟我看的是一个首页吗？哪有 NSFW ，都是穿得严严实实的印度大妈和卡通人物

dreamkuo

Aug 8, 2025

@peteretep 太经典了. 太厉害了. 赔付

dreamkuo

Aug 8, 2025

@peteretep 佩服你是懂发帖的

march1993

Aug 8, 2025

用 chrome 打开，然后打开 inspector network 页，右键复制 curl(cmd/bash)，这种基本可以下载下来

lyusantu

Aug 8, 2025

@xiaoming1992 你登录了吗

lyusantu

Aug 8, 2025

@xiaoming1992 登录解锁

JoryJoestar

Aug 8, 2025

@peteretep 你是懂程序员的

JoryJoestar

Aug 8, 2025

@musi 我试试，谢谢🙏

249239432

Aug 8, 2025

@coderzhangsan 看页面源代码解析逻辑，可以爬

drymonfidelia

Aug 8, 2025

@coderzhangsan 不能爬网站是怎么显示的？你能看到的东西都能爬

991547436

Aug 8, 2025

playwright 这样过 cf
Browser browser = playwright.chromium().launch(new BrowserType.LaunchOptions().setHeadless(true)
.setArgs(List.of("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"))
);