Python3 爬虫框架-推荐一个自己写的爬虫框架，不知道大家觉得怎么样，初次写，大家来喷

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3043 days ago, the information mentioned may be changed or developed.

Python3 爬虫框架，技术使用在 readme 里面都写好了，大家伙看看 https://github.com/BlingBlingdevelopers/bluff，觉得哪里不好的随便喷

Python3

框架

readme

虫

6 replies • 2018-07-11 20:38:10 +08:00

chengxiao

Jul 10, 2018

python 感觉是最不缺爬虫框架的语言了....
不过支持楼主，现有两座大山 scrapy 和 pyspider 在分布式和集群调度上不是很出彩
期待楼主实现一个

cheesea

Jul 10, 2018

造轮子大体有两个原因，一是学习，二是现有轮子用的不爽。不知道楼主是哪一种。

RicardoScofileld

Jul 10, 2018

fuck 404 喷个求

jhsunnyshine

Jul 10, 2018 via Android

楼上说的对啊，404 没法喷啊，手动滑稽

NobodyVe2x

Jul 10, 2018

地址作者写错了，是这个
https://github.com/BlingBlingdevelopers/bluff

xiaozizayang

Jul 11, 2018

我看源码忽然感觉好熟悉依稀记得很多地方和我以前看的一个框架爬虫框架 gain 里面代码实现极其类似
最后，放下我自己写的一个爬虫框架哈哈 https://github.com/howie6879/aspider