推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3466 days ago, the information mentioned may be changed or developed.
 |
guonningMay 10, 2017 via iPhone
1
整个 Google play 的爬虫
|
 |
2
如果你的项目有明显优于`scrapy`的地方，那请重点介绍这个优点；
如果你只是想深入了解爬虫架构，那请配合分享你的开发博客，《深入理解爬虫架构》； 否则，你的这个项目，除了自己练手，没有任何可分享的意义。 |
1 |
yanzixuanMay 10, 2017
3
不是很推荐用 xpath 来提取信息，麻烦得很。用 beautifulsoup 或 pyquery 都好点。
|
 |
xvxMay 10, 2017 via iPhone
4
难道 lz 这个还能智能爬不成？不用每个网站都搞个爬虫规则。
|
 |
IanPeverellMay 10, 2017
11
楼主加油，不过……
感觉是在重复造轮子，因为功能不完善所以很轻，很多情况都没考虑到 scrapy 和 pyspider 已经很出色，再加上很多分支，已经很完美了，requests 也足够满足轻型 spider 的需求，所以除非以学习为目的，这种重复造轮子很浪费时间 |
 |
12
@IanPeverell 肯定有些不同的，比如我现在抓取的时候 面临资源不足的情况，有自己的解决方案 ；
|
 |
mikezhang0515May 10, 2017
13
MSpider 也很好
|
|
IanPeverellMay 10, 2017
14
@intohole，然而资源不足只是 spider 很小的问题，更多的问题则在于反爬上，如果楼主能在这方面下功夫那这个框架的肯定不可小觑
anyway，还是很支持楼主将一个框架由小做大的，希望楼主能坚持下去 |
|
15
@mikezhang0515 我会参考这个工程的 ，thx
|
|
16
@IanPeverell 谢谢，我会加油的
|
 |
faywanghqMay 10, 2017
17
技术这个行业，过去一个话题的开始是写一个：hello, world。
这个行业的现在变成了：从零写一个爬虫。 |
|
18
@faywong8888 什么项目不是从 0 开始的呢？ 还有你觉得写爬虫架构很好写，写个队列，写个抓取器就完活了？ 谢谢关注
|
 |
bytenoobMay 10, 2017 via Android
19
加上一句，make the world a better place
|
Select Language