需要抓取很多新闻网站，但这些页面很多是极其不规范的使用 html ，那么如何自动化提取这些网页中的正文部分呢？
试用了几个，感觉还是有一些问题。。。。求推荐
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4179 days ago, the information mentioned may be changed or developed.
Supplement 1 · May 27, 2015
好像大家多没有做过类似的，或者没有理解我的意思。
我是说提取网页正文，类似 pocket 那种。
已用过的库：
* [Goose](https://github.com/grangier/python-goose)
* [python-readability](https://github.com/buriy/python-readability)
看过的论文：
* [《基于行块分布函数的通用网页正文抽取算法》](http://cx-extractor.googlecode.com/files/%E5%9F%BA%E4%BA%8E%E8%A1%8C%E5%9D%97%E5%88%86%E5%B8%83%E5%87%BD%E6%95%B0%E7%9A%84%E9%80%9A%E7%94%A8%E7%BD%91%E9%A1%B5%E6%AD%A3%E6%96%87%E6%8A%BD%E5%8F%96%E7%AE%97%E6%B3%95.pdf)
大家还有用过/看过的其他的吗？
我是说提取网页正文，类似 pocket 那种。
已用过的库：
* [Goose](https://github.com/grangier/python-goose)
* [python-readability](https://github.com/buriy/python-readability)
看过的论文：
* [《基于行块分布函数的通用网页正文抽取算法》](http://cx-extractor.googlecode.com/files/%E5%9F%BA%E4%BA%8E%E8%A1%8C%E5%9D%97%E5%88%86%E5%B8%83%E5%87%BD%E6%95%B0%E7%9A%84%E9%80%9A%E7%94%A8%E7%BD%91%E9%A1%B5%E6%AD%A3%E6%96%87%E6%8A%BD%E5%8F%96%E7%AE%97%E6%B3%95.pdf)
大家还有用过/看过的其他的吗？
 |
shierjiMay 27, 2015 via Android
1
额 XPath选取还行啊
我遇到的主要是改版问题 不过我感觉逻辑上多处理一下也行 我遇到的问题是很多新闻网站旧链接是孤岛 没法从当前时间递归抓取 不知道楼主有这个问题没有？ |
 |
ValyrianMay 27, 2015
2
每个网站单独处理。。我上个实习就是干这个的，没有什么好办法
|
 |
binuxMay 27, 2015
3
现在正常一点的 html 库都能做到兼容不规范的 html
要不你试试 lxml |
 |
fyMay 27, 2015
5
= = 好像也并不是来着，如果是这样的话lxml的xpath确实已经够用了。
|
 |
alexapolloMay 27, 2015
6
web extractor
|
 |
TuxcraFtMay 27, 2015
8
你需要人工智能黑科技…… （逃
|
 |
zts1993May 27, 2015 via Android
9
招点实习生吧
|
 |
simoMay 27, 2015
10
看下qq收藏网页助手，插件应该能反编吧
|
 |
nbndcoMay 27, 2015
11
libextract
|
 |
hewigovensMay 27, 2015
12
Diffbot?
|
 |
xixijunMay 27, 2015 via iPhone
13
不知道楼主说的不规则具体指的是什么。
bootstrap可以自动补全 |
 |
zogMay 27, 2015
14
pip install html2text
|
 |
zhichengMay 27, 2015
15
|
 |
13kMay 27, 2015
16
|
 |
zztt168May 27, 2015 via Android
17
在学习爬虫，感谢楼主和楼上的分享！
|
 |
bigbookMay 27, 2015
18
|
 |
pangoMay 27, 2015
19
楼主遇到点什么小问题？请具体说说。
一直在用python-goose爬youtube，从来没有出过什么问题。 |
 |
shiznetMay 27, 2015 via iPhone
20
印象笔记在chrome的插件可以实现类似的功能
|
Select Language