Home
Sign Up
Sign In
V2EX
›
问与答
有没有一种分布式管理程序的的系统来管理自己写的小爬虫
wellhome
·
Dec 11, 2020
· 1755 views
This topic created in 2154 days ago, the information mentioned may be changed or developed.
比如我写了一个小爬虫, 安装在许多机器上。
有没有管理系统,把爬虫小程序变成 service,集中开停和监控?
我知道 scrapyd 有分布式的结构。 我想是不是有一种通用的系统。
爬虫
分布式
scrapyd
管理
2 replies
•
2020-12-17 18:52:49 +08:00
unique
Dec 11, 2020 via iPhone
1
1
Crawlab
wellhome
OP
Dec 17, 2020
2
@
unique
多谢兄弟
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Privacy
·
Solana
·
2911 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 10:51
·
PVG 18:51
·
LAX 02:51
·
JFK 05:51
♥ Do have faith in what you're doing.
❯