Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
CriseLYJ
V2EX  ›  Python

人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程

  •   
  •   CriseLYJ · Mar 30, 2019 · 13704 views
    This topic created in 2775 days ago, the information mentioned may be changed or developed.

    人生的第一个 5k-star 项目诞生，感谢 V2EX 上所有的人，为此我要贡献一篇爬虫从入门到熟练的教程

    [5kstar 项目地址]https://github.com/CriseLYJ/awesome-python-login-model()

    真心感谢 V2EX 上的所有的人，但是就想总结一下发几个小脚本，然后突然有很多人支持我，真的很感谢，如果没你们的支持，可能这个项目就不会一直走下来。所以我还是感谢！谢谢谢

    • 为了不辜负你们的支持，前段时间决定了写一套系统的爬虫教程，用来感谢这里的所有人，当然也有其他支持我的人！

    • 教程包括：js 逆向，xpath，bs4,正则,selenium, tesseract OCR 识别,mongodb 的使用，以及 scrapy 框架

    • 囊括搜有知识：如果你能吸收完，那么你可以爬取市面上 90%的网站，绝对没吹牛！

    • 在学习之前请务必掌握一些蟒蛇基础知识，之后我们就可以开始了！

    • 项目预估时间 20 天左右，平均两天更新一章内容，敬请期待........

    • 项目是免费的，所以你们要是喜欢可以给个 star,或者在 ISSUES 中留言都可以

    最后放项目地址点击此处跳转至 github

  • V2EX
  • 教程
  • 感谢
  • 项目
    100 replies  •  2019-05-01 14:07:37 +08:00
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    1
    第一个链接多了个括号，访问的时候记得删除掉。。。。失误各位
    Bigglesworth
    Bigglesworth
    Mar 30, 2019 via Android
    2
    支持一下。
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    3
    @Bigglesworth 多谢了，内容很丰富！
    Willjim
    Willjim
    Mar 30, 2019 via Android
    4
    @CriseLYJ MD 语法用错，几分钟内还可以改。教程收下了慢慢看，赞一下先！
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    5
    @Willjim 怎么改求教求教
    Willjim
    Willjim
    Mar 30, 2019 via Android
    6
    @CriseLYJ 文章下面有个 edit 呀😂
    guog
    guog
    Mar 30, 2019 via Android
    7
    [地址别名](链接)
    Foreverdxa
    Foreverdxa
    Mar 30, 2019
    8
    这些网站真是太棒了，新手来学习很舒服
    barrelsoil
    barrelsoil
    Mar 30, 2019
    9
    看了下第一篇，很详细~
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    10
    @Willjim 没找到 可能我之前放链接的时候没有放到括号里面
    lebcvu
    lebcvu
    Mar 30, 2019
    11
    赞
    luboyan
    luboyan
    Mar 30, 2019 via Android
    12
    支持下大佬
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    13
    @Foreverdxa 感谢
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    14
    @barrelsoil 嘿嘿
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    15
    @teslayun 感谢
    sinver
    sinver
    Mar 30, 2019
    16
    @CriseLYJ 如果可以，教程建议变更为视频版放到 B 站 [单个文件 2G 内保持原画不压缩] 。文字版读起来有些枯燥且内容多了之后会变更成手册，视频版可提高转播属性，给你带来更多 Star :D
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    17
    @luboyan 不是啥大佬啦
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    18
    @sinver 现在时间不是很多啊！我尽可能写详细点，不过还是多谢你的建议，等我有时间我可以尝试尝试
    TKKONE
    TKKONE
    PRO
    Mar 30, 2019 via Android❤️1
    19
    果然都喜欢聚合型的东西，即使都是一开始楼主拿来都是网上收集来的旧老代码
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    20
    强烈建议，http 一定要好好看！因为很有用！
    BCy66drFCvk1Ou87
    BCy66drFCvk1Ou87
    Mar 30, 2019❤️1
    21
    支持 虽然我不写 python ……
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    22
    @HuasLeung 哈哈 感谢
    capre
    capre
    Mar 30, 2019
    23
    加油楼主，以前用过一次 selenium 不太深入，期待楼主写的这个
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    24
    @capre selenium 不太好用的其实，一般都是 js 逆向
    miv
    miv
    Mar 30, 2019
    25
    像这种开源无私的我强烈支持，自己也虽然不是专业搞爬虫的，不过这东西很有价值。另外，也想学习 selenium，所以就期待楼主的教程了！已经 start ！！支持！！
    xiongxiaoyang
    xiongxiaoyang
    Mar 30, 2019
    26
    感谢
    694169224
    694169224
    Mar 30, 2019
    27
    加油楼主
    Ehco1996
    Ehco1996
    Mar 30, 2019
    28
    我前几年写爬虫也搞了一个类似的 repo https://github.com/Ehco1996/Python-crawler
    zhuzhibin
    zhuzhibin
    Mar 30, 2019 via iPhone
    29
    404 page
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    30
    @miv 好的
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    31
    @zhuzhibin 删掉后面的括号
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    32
    @Ehco1996 很棒，哈哈
    anyuhanfei
    anyuhanfei
    Mar 30, 2019
    33
    支持支持
    adrianyoung
    adrianyoung
    Mar 30, 2019
    34
    支持一下，自己也写爬虫，借楼主宝地打个广告 [爬虫监控 demo]( https://github.com/adrianyoung/CrawlerMonitor)
    zhuzhibin
    zhuzhibin
    Mar 30, 2019 via iPhone
    35
    @CriseLYJ 哦没仔细看 直接点的
    wangchonglie
    wangchonglie
    Mar 30, 2019
    36
    已 star
    VictorFrank1
    VictorFrank1
    Mar 30, 2019
    37
    火钳
    spidermansam
    spidermansam
    Mar 30, 2019
    38
    已 star，加油
    yasumoto
    yasumoto
    Mar 30, 2019
    39
    支持一下 已 star
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    40
    谢谢各位的支持
    madtwilight
    madtwilight
    Mar 30, 2019 via Android
    41
    支持
    Snowflakes
    Snowflakes
    Mar 30, 2019 via iPhone
    42
    感谢。已收藏
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    43
    @lpdy4 谢谢
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    44
    @madtwilight 谢谢
    XiaolinLeo
    XiaolinLeo
    Mar 30, 2019 via iPhone
    45
    支持支持
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    46
    @XiaolinLeo 感谢感谢
    zz25
    zz25
    Mar 30, 2019
    47
    萌新感觉不错，先 Star，说不准以后会学到
    aoe2ex
    aoe2ex
    Mar 30, 2019
    48
    star 为敬
    godgc
    godgc
    Mar 30, 2019
    49
    学习学习~~
    luckyswag
    luckyswag
    Mar 30, 2019
    50
    学习
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019 via iPhone
    51
    多谢支持🙏
    Crayon2022
    Crayon2022
    Mar 30, 2019
    52
    支持
    kuyuzhiqi
    kuyuzhiqi
    Mar 30, 2019
    53
    404 代表 5k star 的项目不存在
    nznd
    nznd
    Mar 30, 2019
    54
    哇 老哥要是有投稿 b 站的计划的话 我可以帮忙做一些吗 录制 后期 剪辑 字幕 啥的 都会一点
    supersadmin
    supersadmin
    Mar 30, 2019 via iPhone
    55
    已用
    way2create
    way2create
    Mar 30, 2019
    56
    支持 虽然不是搞这个的
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    57
    @nznd 如果搞得话，我联系你性阿布
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    58
    @kuyuzhiqi 去掉链接后面的括号，我写的时候写错了
    nznd
    nznd
    Mar 30, 2019
    59
    @CriseLYJ #57 好的哦 ;)
    kodSen
    kodSen
    Mar 30, 2019 via iPhone
    60
    开源很棒，多谢，学习一下
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    61
    @kodSen 谢谢
    Majeriot
    Majeriot
    Mar 30, 2019
    62
    支持支持
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    63
    @Majeriot 谢谢
    baicai0817
    baicai0817
    Mar 30, 2019 via iPhone
    64
    支持
    rosu
    rosu
    Mar 30, 2019 via Android
    65
    先 watch，等楼主更新了再 star （滑稽
    DJI360
    DJI360
    Mar 30, 2019 via Android
    66
    支持一下
    chungzhao
    chungzhao
    Mar 30, 2019
    67
    支持！
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    68
    谢了各位，希望对你们有帮助
    meteor957
    meteor957
    Mar 30, 2019
    69
    已 start
    JeongReich
    JeongReich
    Mar 30, 2019 via Android
    70
    已收藏 最近在学。
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    71
    今天应该可以更新
    kotlings
    kotlings
    Mar 30, 2019
    72
    请问下你的项目都是 python 3 写的吗？怎么 instal 老是失败
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    73
    @mythace 对啊 python3
    Exia
    Exia
    Mar 30, 2019
    74
    不错，帖主试试花瓣
    ronman
    ronman
    Mar 30, 2019 via Android
    75
    很好，两个项目都 star 了，平时虽然也在用爬虫，但是都是小打小闹，正需要一个系统的知识，辛苦楼主了。
    Exia
    Exia
    Mar 30, 2019
    76
    教程很赞，果断 star
    ronman
    ronman
    Mar 30, 2019 via Android
    77
    对了多问一句，完成更新后会考虑以 git book 的形式整合吗？这样更加方便查阅
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    78
    @ronman 可以尝试
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    79
    @Exia 谢谢
    0x000007
    0x000007
    Mar 30, 2019
    80
    /t/541855 砸场子的来了
    0x000007
    0x000007
    Mar 30, 2019
    81
    @0x000007 贴错了 /t/550323
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    82
    @0x000007 不喜欢我也没办法，毕竟我不能满足所有人，这里我想请问一下，你能帮我定义一下爬虫吗？？能帮我定义一下 http 吗？？钢精。。。。。
    ErgeAIA
    ErgeAIA
    Mar 30, 2019
    83
    淘宝的不知道失效没，先 star + 1 再说
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    84
    我就不过多解释了行吧，你们开心就好
    xyb12138
    xyb12138
    Mar 30, 2019
    85
    支持，想系统的学习一下爬虫知识，已 star~
    0x000007
    0x000007
    Mar 30, 2019
    86
    @CriseLYJ 我杠你啥了?我只是贴个链接告诉你有人砸你场子,我这就杠了?
    CriseLYJ
    CriseLYJ
    OP
    Mar 30, 2019
    87
    @0x000007 那不好意思，兄弟，行吧！我误解你了，等我写完所有东西，我新开一个帖子，你们再来发表观点好不好？现在就只是个预备知识！
    chen11
    chen11
    Mar 30, 2019
    88
    支持一波，感谢
    jarry118
    jarry118
    Mar 30, 2019
    89
    感谢大佬
    xxx78797084
    xxx78797084
    Mar 30, 2019
    90
    支持大佬
    EyreFree
    EyreFree
    Mar 30, 2019
    91
    膜
    cnzzz
    cnzzz
    Mar 30, 2019
    92
    多谢教程，很详细很多干货，支持大佬
    shuangyeying
    shuangyeying
    Mar 30, 2019
    93
    用 Java 写过 selenium，确实非常方便。
    persimmon
    persimmon
    Mar 31, 2019❤️1
    94
    That's why we cannot have nice things in China now.
    icanfork
    icanfork
    Mar 31, 2019 via iPhone❤️1
    95
    不是说 5k 吗？怎么才 660 个 star
    chpiter
    chpiter
    Apr 1, 2019
    96
    加油
    asus10tu
    asus10tu
    Apr 2, 2019
    97
    非常感谢大佬！
    wdcrgb
    wdcrgb
    Apr 3, 2019
    98
    学习了
    iorilu
    iorilu
    Apr 13, 2019
    99
    厉害了, 爬虫高手啊, 收藏学习了
    liwenbest
    liwenbest
    May 1, 2019
    100
    期待更快地更新哈 谢谢分享
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1331 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 144ms · UTC 20:06 · PVG 04:06 · LAX 12:06 · JFK 15:06
    ♥ Do have faith in what you're doing.