kqz901002
V2EX  ›  Google

写了一个采集 google ip 的程序

  •  
  •   kqz901002 · Jun 14, 2014 · 10104 views
    This topic created in 4527 days ago, the information mentioned may be changed or developed.
    fork 别人的项目,原来用w3m
    现在主程序用的requests
    目前只能输出ip,在输出domain name结果是None

    各位大神帮忙看看

    https://github.com/kqz901002/m2conf
    Supplement 1  ·  Jun 14, 2014
    现在能过滤字符并且写入新文件了,大家帮忙测试吧
    Supplement 2  ·  Jun 18, 2014
    多线程部分已经完善!
    51 replies  •  2014-07-10 16:30:25 +08:00
    dong3580
    dong3580
    Jun 14, 2014 via Android
    1
    手机暂时打开太慢了,想提前知道一下,原理是不断ping还是从某个站采集?
    licell
    licell
    Jun 14, 2014
    2
    这种项目自己用就行了,难道你希望所有ip都被某某看到然后全部被封?
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    3
    @dong3580 不是ping google有官方的ip段的,对ip段发出requests.Request https 请求,会有ssl错误,这个错误会有证书支持的domain name,然后过滤这个字符
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    4
    @licell ip段是公开的 google官网和http://bgp.he.net/AS15169#_prefixes
    都有
    dong3580
    dong3580
    Jun 14, 2014 via Android
    5
    @kqz901002
    3KS,了解了。
    kamisamayo
    kamisamayo
    Jun 14, 2014
    6
    LZ你好= =我不会程序但是试着在python里面运行了你的代码,然后显示这个(
    Traceback (most recent call last):
    File "C:\Users\Administrator\Documents\新建文本文档.py", line 6, in <module>
    from GCC import net_address_set
    ImportError: No module named GCC)

    总之一个大前提是我没怎么学过程序,所以你们认为的基础不太懂= = 能否请大概指点一二
    xia0chun
    xia0chun
    Jun 14, 2014
    7
    @kamisamayo 提示你的电脑没有安装GCC编译器
    kqz901002
    kqz901002
    OP
    Jun 14, 2014 via Android❤️2
    8
    @kamisamayo 你是git clone的么,跟gcc没关系,没有git就下载整个包下来解压
    kamisamayo
    kamisamayo
    Jun 14, 2014
    9
    @kqz901002
    这次是直接下载解压,然后打开set_goagent3.py
    运行后提示Traceback (most recent call last):
    File "C:\Users\Administrator\Downloads\00000000\m2conf-master\set_goagent3.py", line 9, in <module>
    import configparser
    ImportError: No module named configparser

    ......
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    10
    @kamisamayo python2 执行set_goagent.py那个 你执行的是python3的 正在完善
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    11
    @kamisamayo 仔细读readme啊
    phyng
    phyng
    Jun 14, 2014❤️1
    12
    @kamisamayo
    @kqz901002 目测等下还要报requests错误,可以打包下给别人用 - -
    kamisamayo
    kamisamayo
    Jun 14, 2014
    13
    @phyng 已报错= =跑去下载然后有两个文件不知道放哪里,其中一个文件安装后没反应了。。
    cbsw
    cbsw
    Jun 14, 2014
    14
    之前还琢磨着写一个的,看来现在又为自己偷懒找到好借口了
    pango
    pango
    Jun 14, 2014
    15
    生成的这个new_host_file里面的内容怎么用呢?
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    16
    @pango goagent的iplist或者修改hosts
    kqz901002
    kqz901002
    OP
    Jun 14, 2014❤️1
    17
    @phyng 这个如何打包?你发起pull吧
    lll9p
    lll9p
    Jun 14, 2014
    18
    密切关注,,谢谢~
    webfury
    webfury
    Jun 16, 2014
    19
    自己VPS上可以跑?输出结果在哪里?
    kqz901002
    kqz901002
    OP
    Jun 16, 2014 via Android❤️1
    20
    @webfury 新的文件
    xinhugo
    xinhugo
    Jun 16, 2014
    21
    对我来说,最繁琐的,是手工检查HTTPS证书。
    kqz901002
    kqz901002
    OP
    Jun 16, 2014❤️1
    22
    @xinhugo 这里是自动检查的
    xinhugo
    xinhugo
    Jun 16, 2014
    23
    好用,特别是能检查HTTPS证书这一功能。
    kqz901002
    kqz901002
    OP
    Jun 16, 2014
    24
    @kamisamayo 你现在试试。。我已经把bug修复的差不多了。osx/windows/linux基本只要安装python就能运行,
    运行之前读取readme 或者 通过-h 获取帮助
    webfury
    webfury
    Jun 17, 2014
    25
    这个是要安装goagent先的吧?!运行出错
    kqz901002
    kqz901002
    OP
    Jun 17, 2014
    26
    @webfury 不需要啊。什么错误?
    kqz901002
    kqz901002
    OP
    Jun 18, 2014
    27
    @webfury 你现在运行试试呢?
    deddey
    deddey
    Jun 19, 2014
    28
    出现很多这样的错误,python2.7.7 64bit,windows8.1 64bit,最后没有得到任何的地址

    Exception in thread Thread-216952:
    Traceback (most recent call last):
    File "c:\Python27\lib\threading.py", line 810, in __bootstrap_inner
    self.run()
    File "set_goagent.py", line 252, in run
    a = get_host(self.ip_address)
    File "set_goagent.py", line 59, in get_host
    ping_list = ping.quiet_ping(ip_addr)
    File "C:\Users\u\Desktop\goagent-goagent-44210f6\local\ping.py", line 250, in
    quiet_ping
    delay = do_one(dest_addr, timeout, psize)
    File "C:\Users\u\Desktop\goagent-goagent-44210f6\local\ping.py", line 195, in
    do_one
    my_socket = socket.socket(socket.AF_INET, socket.SOCK_RAW, icmp)
    File "c:\Python27\lib\socket.py", line 187, in __init__
    _sock = _realsocket(family, type, proto)
    error: [Errno 10013]
    kqz901002
    kqz901002
    OP
    Jun 19, 2014❤️1
    29
    @deddey 我把thread limit 降低到800 你试试?如果有错误就直接停止
    deddey
    deddey
    Jun 19, 2014
    30
    @kqz901002 还是一样的问题
    Fdkqeo
    Fdkqeo
    Jun 19, 2014
    31
    run 4012.61854776 s , 得到了一个2294行的文件。
    good_ipaddr从可怜的个位数增加到了200多个。
    kqz901002
    kqz901002
    OP
    Jun 19, 2014
    32
    @deddey 这个我就不知道了 我在osx和win8都测试过了
    deddey
    deddey
    Jun 20, 2014
    33
    @kqz901002 Sorry,是我的问题。没有注意到需要在管理员账号下使用
    昨天在ubuntu上试过,能够得到地址,不过有些错误提示
    今天在windows8.1下很正常

    不过每次运行网络不好的时候耗时很长,而且得到的ip地址是不是太多了,有那么几十个保证goagent能运行就行了,没有必要把所有的ip地址都揪出来
    kqz901002
    kqz901002
    OP
    Jun 20, 2014
    34
    @deddey 你可以到GGC.py里面去注释掉
    kamisamayo
    kamisamayo
    Jun 22, 2014
    35
    想问一下, go agent里面这样配置可以么- -虽然我这样改了之后可以用了...可是速度龟速...
    就是把所有后面=google的ip地址,替换进去,cn和hk都一个地址...

    大致形式如下....
    [iplist]
    google_cn =74.125.22.114|74.125.21.114|74.125.22.31|74.125.21.188|74.125.21.31|74.125.22.251
    google_hk =www.google.com|mail.google.com|www.google.com.hk|www.google.com.tw|www.l.google.com
    google_hk = 74.125.22.114|74.125.21.114|74.125.22.31|74.125.21.188|74.125.21.31|74.125.22.251
    google_talk =talk.google.com|talk.l.google.com|talkx.l.google.com
    google_ipv6 = 2404:6800:4005:c00::64|2404:6800:4005:c00::65|2404:6800:4005:c00::5e|2404:6800:4005:c00::67|2404:6800:4005:c00::2f
    google_tw =www.google.com.tw|www.google.com.sg|www.google.co.jp|www.google.sg|www.google.cat|mail.google.com|mail.l.google.com
    kqz901002
    kqz901002
    OP
    Jun 22, 2014 via Android
    36
    @kamisamayo 配置hk就可以了 cn不要配置,而且要将原来的hk注释
    88250
    88250
    Jun 24, 2014
    37
    已经使用,大赞一个!
    kamisamayo
    kamisamayo
    Jul 7, 2014
    38
    LZ还在吗!我想问生成的结果最后有个[iplist]
    google_hk =
    google_talk =

    后面是空的///这个怎么回事
    kqz901002
    kqz901002
    OP
    Jul 7, 2014❤️1
    39
    @kamisamayo google_talk应该没什么用的~~
    kamisamayo
    kamisamayo
    Jul 7, 2014
    40
    @kqz901002 生成的文件里面不是有一堆地址吗,替换go agent里面的iplist,我试了几个都不行,那个列表里面那些是可以替换的IP,似乎不是全部都行...
    kqz901002
    kqz901002
    OP
    Jul 7, 2014
    41
    @kamisamayo 只需要替换google_hk就ok
    kamisamayo
    kamisamayo
    Jul 7, 2014
    42
    @kqz901002 google_hk=的结果为空,重新请求了几次返回结果还是空..
    kqz901002
    kqz901002
    OP
    Jul 7, 2014
    43
    @kamisamayo 去GGC.py去掉ip段的注释就ok了...我没有打开所有的ip
    kqz901002
    kqz901002
    OP
    Jul 7, 2014❤️1
    44
    @kamisamayo 的确有问题,已经修复好了
    kamisamayo
    kamisamayo
    Jul 7, 2014
    45
    @kqz901002 十分感谢,测试之后go agent能够正常使用了。
    poke707
    poke707
    Jul 10, 2014
    46
    ubuntu 13.04,python 2.7
    sudo python set_goagent.py出错:
    https://gist.github.com/5f8a34a2f3e3cdeea569
    kqz901002
    kqz901002
    OP
    Jul 10, 2014
    47
    @poke707 抱歉 没有在ubuntu(linux)测试过 只在osx和windows 测试通过, 等有空我装个虚拟机测试一下吧
    kqz901002
    kqz901002
    OP
    Jul 10, 2014
    48
    @poke707 现在应该linux不会执行ping了,应该是ping lib 有问题..
    poke707
    poke707
    Jul 10, 2014
    49
    @kqz901002 感谢更新,现在可以跑出结果了,不过结果里每项都是delay: 0ms, lost: 0%感觉不太正常..正常的是如何?
    kqz901002
    kqz901002
    OP
    Jul 10, 2014
    50
    @poke707 因为ping在ubuntu不工作 我就让linux的ping值为0,0,0
    kqz901002
    kqz901002
    OP
    Jul 10, 2014
    51
    @poke707 这个不影响ip的连通性..没关系的..ping的话只是看看延迟多高的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1385 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 19:15 · PVG 03:15 · LAX 11:15 · JFK 14:15
    ♥ Do have faith in what you're doing.