写了个多线程爬虫,感觉自己好无耻呀。。。 之前写了个单线程的,任务丢到 rq 里面去去,真的很慢,两千多个网页,跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py
写了个多线程爬虫,感觉自己好无耻呀。。。 之前写了个单线程的,任务丢到 rq 里面去去,真的很慢,两千多个网页,跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py