文章不会更新，永远只需爬取一次，所以靠后的页码就不用再次爬取。
如果抛开框架，大致的思路就是在查重的时候，重：不爬，并且后续列表不再爬，不重：爬取文章。
但是不知道怎么在 pyspider 中实现，请指教。
This topic created in 3052 days ago, the information mentioned may be changed or developed.
 |
1
hash function? 数学之美了解一下。别整天用这个那个框架，基础还是少不了
|
1 |
golmicJul 1, 2018 via Android
3
for url in urls: if url in db : break
|
 |
4
默认就是去重的
|
 |
5
@binux 大佬你好。可能我没表达明白我的意思。
url 是默认去重这个我知道。 但是场景是这样，比如一页 10 文章（此时 1 页，我都采集过了，（/list/1 ）。过了 1 天，多发布 15 文章（此时 3 页），那么此时我需要采集 /list/1 和 /list/2(因为发现 2 中有已经采集过的文章，所以 /list/3 就不去访问了）。 |
Select Language