任意添加网站一般是论坛，爬虫每天根据关键词爬取帖子（整个页面应该也行）。
问题:1 不同网站如何爬?目前想的是手动添加内容和分页的 xpath （实际用起来貌似也会有问题）。
2.帖子的日期如何获取
3.如何不重复爬取。
这种需求的难度：低 中 高 ？
This topic created in 2886 days ago, the information mentioned may be changed or developed.
 |
Bryan0ZDec 14, 2018 via Android
1
一个爬虫爬遍任意网站？有点厉害
|
 |
wly19960911Dec 14, 2018
2
 是超高 |
 |
3
添加网站的时候 让他给你 然后 你挨个添加规则 分页规则 内容规则 日期规则 唯一性规则
|
1 |
a62527776aDec 14, 2018
5
那以后每天的工作就是研究各个网站的规则了 →。→
|
 |
maplelinDec 14, 2018
6
这是让你去造高达吧
|
 |
KinniceDec 14, 2018 via Android
7
爬虫框架 5k，规则 1k 一条 可持续收入 /滑稽
|
 |
limuyan44Dec 14, 2018 via Android
8
ai 啊，添加一条数据后给你发短信，你把代码写好在放上去，最重要的是要按网址收费。。
|
 |
9
@a62527776a 不愁没工时了(｀・ω・´)
|
 |
adrianyoungDec 15, 2018 via Android
11
url 去重做缓存检查
|
Select Language