geeglo
V2EX  ›  问与答

数据采集问题,请教一下各位。

  •  
  •   geeglo · Aug 23, 2015 · 2901 views
    This topic created in 4106 days ago, the information mentioned may be changed or developed.
    一共有七万条数据要采集,采集对象是一个数据接口,但是接口限制了频率,每小时 200 次左右,被限制之后换个 IP 就能继续采集的,我家里用 ADSL ,虽然可以做到被限制之后就自动重连换 IP ,可是这样效率并不高。

    想问问,有没有好的办法,能快速采集完成。
    13 replies  •  2015-08-24 18:21:55 +08:00
    publicID001
    publicID001
    Aug 23, 2015
    1
    阿里云 开 35 台 最低配置 一小时解决 大概 15 块钱
    kslr
    kslr
    Aug 23, 2015
    2
    代理
    geeglo
    geeglo
    OP
    Aug 23, 2015
    3
    @publicID001 大哥,少了个 0 。
    kchum
    kchum
    Aug 23, 2015 via iPhone
    4
    代理 ip 日租 7 块钱
    Strikeactor
    Strikeactor
    Aug 23, 2015
    5
    http://spys.ru/free-proxy-list/CN/

    Heroku 应用重启之后 IP 会换,控制得好也可以做到自动切 IP
    abelyao
    abelyao
    Aug 23, 2015 via iPhone
    6
    淘宝上之前有 1 块钱 8000 个代理 IP 的,运气好的话大概有五六千个是可以用的。去年底玩刷票的时候买了有十多万个。
    现在的关键词比较难找,被屏蔽了很多,或许可以从百度去找。
    aheadlead
    aheadlead
    Aug 23, 2015 via iPhone
    7
    @abelyao 求
    powergx
    powergx
    Aug 23, 2015 via iPhone
    8
    自己去免费代理网站爬代理
    xingzhi
    xingzhi
    Aug 23, 2015
    9
    注册 aws ,送 750 小时 EC2 t2.micro 实例的使用时间。
    70000/200 = 350 , 开 350 台机子跑 1 小时就够了(只是有点浪费哈),免费份额还有剩余。
    最简单的实现就是一台 master ,其余部署为代理服务器,使用这些机子做出口 ip 就好了。

    若使用网上的代理服务器,我见过最靠谱的是 hide my ass 的代理服务器,源码做了混淆,比较难自动抓取,但也有现成的抓取程序 proxylist-hma, 亲测可用。

    Ref:
    ec2 : http://aws.amazon.com/cn/ec2
    HMA proxy: http://proxylist.hidemyass.com/
    proxylist-hma: https://github.com/bbertka/proxylist-hma
    xingzhi
    xingzhi
    Aug 23, 2015
    10
    淘宝还有卖那种 ADSL 拨号主机,号称 ip 范围几万个,可以写代码实现 PPPoE 拨号和断线,也是亲测可用:)
    geeglo
    geeglo
    OP
    Aug 24, 2015 via iPhone
    11
    @xingzhi ppeo 拨号自动短线如何弄希望是 python 写的,虽然已经买代理 ip 搞定了,但还是想学一下,
    xingzhi
    xingzhi
    Aug 24, 2015❤️1
    12
    @geeglo 淘宝上卖的那些机子都是 win xp 的,可以通过 python 调用执行系统命令来控制拨号。
    如创建拨号连接后,调用 rasdial connection_name 和 rasdial connection_name /disconnect 控制连接和断线。


    Ref :
    Rasdial 通过使用简单的批处理文件和 rasdial 命令,可以使任何 Microsoft 客户端的连接过程自动化。 rasdial 命令使用指定项启动网络连接。

    语法
    rasdial connectionname [username [password | *]] [/domain:domain] [/phone:phonenumber] [/callback:callbacknumber] [/phonebook:phonebookpath] [/prefixsuffix]

    rasdial 命令使用以下语法断开网络连接:

    rasdial [connectionname] /disconnect
    geeglo
    geeglo
    OP
    Aug 24, 2015 via iPhone
    13
    @xingzhi 感谢🙏
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1337 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 17:14 · PVG 01:14 · LAX 09:14 · JFK 12:14
    ♥ Do have faith in what you're doing.