你写爬虫的目的是什么？

爬虫

目的

用到

59 replies • 1970-01-01 08:00:00 +08:00

janxin

Mar 25, 2014 via iPad

1

写了这么久没写过爬虫…我不是合格程序员…

wvidc

Mar 25, 2014

2

你猜猜
～\(^o^)/～

john990

Mar 25, 2014 via Android

3

为自己的网站弄点数据

paicha

Mar 25, 2014

4

微信公众号，教务系统成绩查询

caiych

Mar 25, 2014

5

……看漫画……网站不给打包下载……
以及抓一些数据测试算法……

binux

Mar 25, 2014

1

6

这是我的工作。。

xuxu

Mar 25, 2014

7

蛋疼的时候玩

vitoziv

Mar 25, 2014

8

毕业设计的时候，为了做一个移动版教务系统，爬了学校的教务系统数据..

jsonline

Mar 25, 2014

9

每个月都能看见有人发布一个新的爬虫……

reverland

Mar 25, 2014

10

显然是为了搜集信息

csx163

Mar 26, 2014

11

抓H种子
抓H图

果然H是第一生产力啊

WildCat

Mar 26, 2014 via iPhone

12

@paicha 这…怎么查？没API诶

WildCat

Mar 26, 2014 via iPhone

13

@paicha
@vitoziv

求如何爬正方教务系统
http://123.232.100.110:86

@csx163
你不怕查水表？

Amoscoder

Mar 26, 2014

14

工具用的Mechanize。。

@WildCat
你爬正方的教务系统难点在哪儿？很容易啊。

vilicvane

Mar 26, 2014

15

主要是提高生产力吧, Marketing Research 之类的. 还有就是之前做的外包, 是 SEO 工具, 统计数据用的.
另外现在自己的背单词应用也是爬的词库. 感觉经常会用到.
@WildCat 哈哈, 说道这个还真的爬过教务处网站抓课表, 虽然那个项目后来没继续搞了. https://github.com/vilic/ClassScheduleProxy

C0VN

Mar 26, 2014

16

美女图！妹子图！无聊图！

kehr

OP

Mar 26, 2014

1

17

@Amoscoder
@vilic

你们的教务系统外网能够访问么？比如查成绩，查课表之类的？我们这里只能通过内网进行。

如果外网无法访问，那么爬虫还能爬到数据么？

bbiao

Mar 26, 2014

18

要是能匿名回答就好了。

kehr

OP

Mar 26, 2014

19

@bbiao 查水表的没有那么快～

vilicvane

Mar 26, 2014

20

@kehr 多数教务网貌似外网还是能访问的诶。

kehr

OP

Mar 26, 2014

21

@vilic 如果要爬外网无法访问的，有什么解决方法木有？

wtbhk

Mar 26, 2014

22

爬教务处的课表、成绩、补考、饭卡余额明细等。教务处太渣，爬下数据来重新组织排版缓存再给学生使用，还可以提供移动端访问。

ChiangDi

Mar 26, 2014 via Android

23

无聊。

vilicvane

Mar 26, 2014

24

@kehr 用客户端访问咯, 然后服务器解析或者直接客户端解析就好了.

moondark

Mar 26, 2014

25

爬我校BBS，完成课程作业

WildCat

Mar 26, 2014 via iPhone

26

@vilic
@Amoscoder
只能查自己的成绩和课表，怎么爬别人的？

BackBox

Mar 26, 2014 via iPhone

27

@Amoscoder 怎么处理验证码？

fange01

Mar 26, 2014

28

@paicha 求共享源码。

Actrace

Mar 26, 2014

29

用PHP写爬虫做了个网页搜索,code.so

Amoscoder

Mar 26, 2014

30

@WildCat 这个没办法吧，只能用别人的账号模拟登陆

Amoscoder

Mar 26, 2014

1

31

@BackBox 可以试下tesseract+imagemagick

Amoscoder

Mar 26, 2014

32

@kehr 大部分教务系统还是可以外网访问的，内网的估计悬。

yangxin0

Mar 26, 2014

33

公司手游做猜球活动，写了一个爬虫去爬实时比分数据。

kslr

Mar 26, 2014

34

爬xx种子，然后在本地建立数据库。

kavi

Mar 26, 2014

35

爬美女图，放在微信公众平台上

airyland

Mar 26, 2014

36

@paicha 如何采集公众号的数据？

paicha

Mar 26, 2014

1

37

@WildCat
@fange01

水平太差就不好意思放源码啦，大致流程就是：
获取学号密码——模拟登录——抓取成绩页面——正则提取数据——返回消息到微信。

模拟登录的数据我是用 Chrome 开发者工具分析的，然后构造数据 POST 登录。（我们学校教务平台没验证码，所以可以3秒内完成查询）。

贴个流程图：

@airyland
采集公众号的数据？什么意思

WildCat

Mar 26, 2014 via iPhone

38

@paicha 我们有验证码，麻烦了

xi4oh4o

Mar 26, 2014

39

好用的库
nokogirl
phpquery
用过这些

curl+regular exp写过模拟登录pixiv，目的是分享自己帐号收藏的用户发布的作品。

paicha

Mar 26, 2014

40

@WildCat
要么试试有什么工具库可以识别，效率的话不知道可以不可以在微信5秒规定内完成。再者就看看能不能绕过验证码。入侵数据库也是一个……不过太危险了。
这方面没什么经验，只能说一些想法~

sb

Mar 26, 2014

1

41

@WildCat 直接模拟提交账号密码，不用验证码

sb

Mar 26, 2014

42

@WildCat 或者有几个登录页面是没有验证码的，可以模拟提交。

fengliu222

Mar 26, 2014

43

当然是拿种子。。不过有了迅雷云播之后，都是直接拿磁力链接什么的~~~

Lelouchcr

Mar 26, 2014

44

一开始是给某妹子爬别人豆瓣上的照片。
后来变成了工作。。。

summic

Mar 26, 2014

45

爬股票数据做投资参考

action

Mar 26, 2014

46

爬直播

airyland

Mar 26, 2014

47

@paicha 我看到你答“微信公众号，教务系统成绩查询”，以为是你写爬虫去采集微信公众号的文章。原来不是么？

cabinw

Mar 26, 2014

48

kimono解放了我

paicha

Mar 26, 2014

49

@airyland 额，表达不当，我是说在微信公众号里做的开发。
抓取微信这个有现成的应用： http://chuansong.me/

9hills

Mar 26, 2014 via iPad

50

@kehr 内网爬完美解决

partysover

Mar 27, 2014

1

51

抓数据，然后计算，包装打包卖。

rainysia

Mar 27, 2014

1

52

我会说我在内网去抓了同事的工资条么...抓了后提了加薪... 加的没同事多...就走了...哎哎, 不作死就不会死

mclxly

Mar 27, 2014

53

@summic 你是怎么做数据分析的?我当时爬了一段时间，积累了几千万的数据，后来没有很好的分析思路，就放弃了。

sunocean

Mar 27, 2014

54

百度贴吧抓妹子图，我会乱说嘛

summic

Mar 27, 2014

1

55

@mclxly 最简单的就是看量价比，更多分析方法参见腾讯股票频道的智能选股

chengs2035

Mar 27, 2014

56

曾经自己写过C#程序，把百度的所有图片爬下来，花了一天，10多T。。。

dong3580

Mar 27, 2014

57

@chengs2035
抓链接存到数据库,我会说你一天10T,好大的硬盘,到快的网速啊.

anjiannian

Mar 27, 2014

58

@rainysia 太可爱了

Amoscoder

Mar 28, 2014

59

@9hills 内网你是如何解决的？