Home Sign Up Sign In
爱意满满的作品展示区。
Advertisement
vibbow

无聊之作：抓取网页截图

  •   
  •   vibbow · Jun 4, 2013 · 11585 views
    This topic created in 4902 days ago, the information mentioned may be changed or developed.
    http://vps.vsean.net/screenshot/
    输入网址后，稍等一会，就会显示出网页的截图

    源代码： https://gist.github.com/vibbow/5702882
    基于PHP + Selenium
    Supplement 1  ·  Jun 4, 2013
    行了，把缓存功能也加上了，截取过的网页快照现在有一个小时的缓存时间。
    Supplement 2  ·  Jun 4, 2013
    Java的内存自动释放能力堪忧啊...
    有办法让Java强制GC么？
    Supplement 3  ·  Jun 4, 2013
    轻微增强了鲁棒性，增加了缓存自动清理的功能。
    顺便发现有人截取过毛片网站......
    Supplement 4  ·  Jun 5, 2013
    继续增强了截图服务器的鲁棒性。
    感觉服务器略微有些撑不住了，尤其是有些人连续同时并发的情况下。

    http://vsean.net/blog/post/178
    截图服务器配置过程以及我的源代码
    Supplement 5  ·  Jun 5, 2013
    继续轻微增强鲁棒性。
    安装了一些常用的字体，把鼠标光标移到最左上角了（现在应该不会出现鼠标hover触发某些网页内容了）
  • 截图
  • 网页
  • 源代码
    92 replies  •  1970-01-01 08:00:00 +08:00
    nonozone
    nonozone
    Jun 4, 2013
    1
    嗯，效果不错。
    nonozone
    nonozone
    Jun 4, 2013
    2
    如果可以整个选项，然后自定义屏幕大小就更方便了。
    yingmingfan
    yingmingfan
    Jun 4, 2013
    3
    这个有什么用呢。。。
    qiayue
    qiayue
    Jun 4, 2013
    4
    感谢，对截图效果很满意
    lenville
    lenville
    Jun 4, 2013❤️1
    5
    测试了一下淘宝的页面, 效果很赞

    楼主应该是设置了一个延时?
    截到的图中还有尚未加载完全的部分
    vibbow
    vibbow
    OP
    Jun 4, 2013
    6
    奇怪了，为什么我无法对自己的帖子做APPEND @admin
    把Flash插件装上了，接下来完善一下缓存功能~
    vibbow
    vibbow
    OP
    Jun 4, 2013
    7
    @lenville 没加载完是因为淘宝用了ajax，或者淘宝做了延迟加载。
    虽然你看到的是一整张网页，但是实际上Firefox的分辨率是1366*768.
    vibbow
    vibbow
    OP
    Jun 4, 2013
    8
    @yingmingfan 比如说在墙内，暂时没有翻墙手段，有人又发了一个自己想看的t.co连接...
    jazz1988
    jazz1988
    Jun 4, 2013
    9
    很棒，就是默认字体看着不太习惯，有点纤细了
    vibbow
    vibbow
    OP
    Jun 4, 2013
    10
    @jazz1988 默认字体应该是文泉驿正黑（我是装了这一个中文字体）...
    lichao
    lichao
    Jun 4, 2013
    11
    某些地方颜色偏差严重，不知道为什么
    vibbow
    vibbow
    OP
    Jun 4, 2013
    12
    @lichao 比如说？
    XDA
    XDA
    Jun 4, 2013
    13
    额，好像意义真的不大，BTW，www.sina.com.cn 的截图好挫
    vibbow
    vibbow
    OP
    Jun 4, 2013
    14
    @XDA 新浪网站本身就很挫，没办法...
    kusys
    kusys
    Jun 4, 2013❤️1
    15
    太有意思了。

    如果能做一个网站，不停的到处去爬站，遇到新站就截图保存，对旧站隔一两个月截图一次。

    时间长了，对于查一个网站的历史变迁记录很有意思啊
    Livid
    Livid
    MOD
    PRO
    Jun 4, 2013
    16
    @kusys 这是一个不错的创业项目。
    cdfmr
    cdfmr
    Jun 4, 2013❤️1
    17
    @kusys www.archive.org
    kusys
    kusys
    Jun 4, 2013
    18
    @cdfmr 其实我知道国内外都有一些，但其实功能都很简单，一般就提供单一的查询，而且广告太多。如果能进行一些思考，做的稍微有意思一点……
    chiefly
    chiefly
    Jun 4, 2013
    19
    为啥www.taobao.com的截屏与我直接访问的淘宝好多地方都是不一样的？
    panxianhai
    panxianhai
    Jun 4, 2013
    20
    phantomjs的效果和这个比起来不知道怎么样
    Livid
    Livid
    MOD
    PRO
    Jun 4, 2013
    21
    @vibbow Append 功能需要主题已经存在 30 分钟。
    qiayue
    qiayue
    Jun 4, 2013
    22
    在很多时候都会用到网页截图功能，以前（前几年了，最近没找）找的都不怎么满意，要么是截的图不好，要么是别的网站给出的api，有限制，今天终于发现楼主做的这个效果不错，所以立马上来表示感谢。

    对于楼上有两位质疑有什么用处和说意义不大的童鞋，我觉得可能是你们没有碰到类似的需求。
    生活中我们常会以个人的见识阅历来评价一件事情，而其实这种评价并不客观。
    Livid
    Livid
    MOD
    PRO
    Jun 4, 2013
    23
    @vibbow Java GC 问题可以把 JVM 换成 JRockit 试试。
    cdfmr
    cdfmr
    Jun 4, 2013
    24
    @kusys archive.org还是很强大的，除了网页，一些下载文件它都保留着，我用它找过几次古董资源。另外，一定程度上兼具FQ功能。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    25
    @chiefly 因为访问的是淘宝国际版
    2code
    2code
    Jun 4, 2013
    26
    貌似抓一次被墙的网站就挂掉了
    vibbow
    vibbow
    OP
    Jun 4, 2013
    27
    @panxianhai 我这个是直接调用了一个完整的Firefox，支持Flash。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    28
    @2code 服务器本身在国外，请考虑你提交的网址是否本身有关键字，导致被和谐了。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    29
    @Livid 怎么换？我现在使用的是Ubuntu自带的openjdk。
    对Java完全没好感...
    Livid
    Livid
    MOD
    PRO
    Jun 4, 2013
    30
    @vibbow 去 Oracle 网站下载一个 JRockit，然后用它来启动 Selenium server。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    31
    @Livid 感觉好复杂...
    http://vsean.net/pic/di-W3F4.png
    反正服务器现在还撑得住。
    等撑不住了就上Queue...
    firsthym
    firsthym
    Jun 4, 2013
    32
    可以整一个service
    dndx
    dndx
    Jun 4, 2013
    33
    @vibbow JVM 的内存管理方式应该是我见过的最好的之一。

    JVM 会在不同的情况下调用不同的 gc 策略，尽可能降低对运行性能的影响。基本没有人工干预的必要。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    34
    @dndx 遗憾的是，刚才Java内存爆了一次，然后自己挂了...
    只好重启vm了...
    manhere
    manhere
    Jun 4, 2013
    35
    @vibbow
    ( ! )Fatal error: Uncaught exception 'PHPWebDriver_UnhandledWebDriverError' with message ' in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 50

    ( ! ) PHPWebDriver_UnhandledWebDriverError: Unable to connect to host 127.0.0.1 on port 7058 after 45000 ms. Firefox console output: Error: cannot open display: :99 Error: cannot open display: :99 in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 50
    vibbow
    vibbow
    OP
    Jun 4, 2013
    36
    @manhere 刚才内存被Java撑爆了一次...
    把VM重启了一下。
    sarices
    sarices
    Jun 4, 2013
    37
    被抓取的网站图片一多就不行了 http://zhengweidong.com/ 抓取失败了
    Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 30400913 bytes) in /var/www/vps.vsean.net/screenshot/PHPWebDriver/WebDriverBase.php on line 186
    dndx
    dndx
    Jun 4, 2013
    38
    @vibbow 如果服务器内存比较大，可以考虑增加 JVM 堆大小。

    应该可以缓解 OOM 的情况。
    dndx
    dndx
    Jun 4, 2013
    39
    @vibbow 忽略上条，没看见 PHP 无法申请内存的提示。。

    话说，截图文件还是比较大的，直接在内存里 decode 流量上去必然堪忧啊。

    最好可以用流式输出或者直接写到硬盘。
    wingoo
    wingoo
    Jun 4, 2013
    40
    非常赞啊
    vibbow
    vibbow
    OP
    Jun 4, 2013
    41
    @dndx 没法流式啊...
    Selenium返回的截图是base64编码的...
    choolib
    choolib
    Jun 4, 2013
    42
    图片上的字体和原网站的字体不一样.
    vibbow
    vibbow
    OP
    Jun 4, 2013
    43
    @sarices 终于能在抓取你网页内存溢出前正确抛出错误了...
    vibbow
    vibbow
    OP
    Jun 4, 2013
    44
    不过很好奇为什么json_decode会使用那么大的内存。
    在decode前内存使用才30多M，decode的过程居然需要申请大约300M的内存...
    11138
    11138
    Jun 4, 2013
    45
    关于 2code 所说的问题：
    1，把http换成https
    2，将用户输入的目标网址用JS加密一下再提交
    eYeer
    eYeer
    Jun 4, 2013
    46
    很神奇，弱弱的问一下 其原理是什么？
    @vibbow
    vibbow
    vibbow
    OP
    Jun 4, 2013
    47
    @eYeer 本质就是打开firefox，打开要截图的网站，截张图，输出...
    eYeer
    eYeer
    Jun 4, 2013
    48
    这api都有？
    @vibbow
    lichao
    lichao
    Jun 4, 2013
    50
    @vibbow 看看这个网站的 sidebar title http://demo.libuchao.com/
    vibbow
    vibbow
    OP
    Jun 4, 2013
    51
    @lichao 我也不知道......
    难道Linux下的Firefox有神马特殊...
    vibbow
    vibbow
    OP
    Jun 4, 2013
    52
    又无法APPEND了 @livid
    http://vsean.net/pic/di-AD1A.png
    halicando
    halicando
    Jun 4, 2013
    53
    @kusys @Livid http://archive.org/ 已经有了，输入网址，点'take me back' ，只是链接有时不太稳定。
    Livid
    Livid
    MOD
    PRO
    Jun 4, 2013
    54
    @vibbow 每个主题最多可以有 3 个 append。
    vibbow
    vibbow
    OP
    Jun 4, 2013
    55
    @Livid 不科学...
    想继续APPEND怎么办...
    fuxkcsdn
    fuxkcsdn
    Jun 4, 2013
    56
    @kusys
    你是说这网站(可能得翻墙)？？
    http://archive.org/index.php
    mozutaba
    mozutaba
    Jun 4, 2013
    57
    楼主的想法和我不摸二哥，不过我的比较邪恶。我现在写的抓中文会乱码，一直不知道怎么解决。借这个一用。搞定后给你参观
    fuxkcsdn
    fuxkcsdn
    Jun 4, 2013
    58
    @vibbow
    可以参考下这网站
    http://browsershots.org/
    用的是python的，而且可以顺便加入到这个网站的项目中
    mozutaba
    mozutaba
    Jun 4, 2013
    59
    顺便发现有人截取过毛片网站....
    我勒个去，抱歉没看完，既然这样我说完吧，通过获取某些针对性的hosts，对里面的网站截图，生成一个列表来展示这些网站有多么误导人，警示青少年。
    LincolnDz
    LincolnDz
    Jun 4, 2013
    60
    很好玩,不过截图糊了...
    workaholic
    workaholic
    Jun 4, 2013
    61
    @Livid 这个功能已经有人做了: http://archive.org/ 以前用它看v2ex几年前的样子，-_-
    workaholic
    workaholic
    Jun 4, 2013
    62
    不错，很好的东西，以前我都是用php+url2bmp 来实现截图
    vibbow
    vibbow
    OP
    Jun 4, 2013
    63
    @LincolnDz 截图怎么糊了？
    clowwindy
    clowwindy
    Jun 4, 2013
    64
    最近我们做长微博图片，采用的方案是 wkhtmltopdf，截图效果比 phantomjs 要好，特别是中文字体上面。在 Ubuntu 上把字体从 mac 上拷过去之后截出来效果基本上和 mac 上看到的一样。
    iZr
    iZr
    Jun 4, 2013
    65
    @clowwindy 期待作品。
    undozen
    undozen
    Jun 4, 2013 via iPhone
    66
    @clowwindy 能不能开放api啊？我只是想给 weibo.com/hackernewsdaily 用用
    clowwindy
    clowwindy
    Jun 4, 2013
    67
    @undozen 不是，这个是把我们自己的内容截图成长微博。很简单，就是直接调 wkhtmltopdf 这个库。
    yudun1989
    yudun1989
    Jun 4, 2013
    68
    http://weibo.com/webhistory 。。。。不止一个人和lz有类似想法哦。。(ps:这个我直接用了公司的access token)
    Showfom
    Showfom
    PRO
    Jun 5, 2013
    69
    http://vps.vsean.net/screenshot/take.php?url=http%3A%2F%2Fwhatismy iPad dress.com%2F
    碰到这种网站就暴露抓取网页截图的服务器的 IP 了
    vibbow
    vibbow
    OP
    Jun 5, 2013
    71
    @Showfom 亲，直接nslookup一下就出来的啊，何必那么麻烦呢...
    linsk
    linsk
    Jun 5, 2013 via iPhone
    72
    提个建议 可以支持网站手机版的截图这个选项
    vibbow
    vibbow
    OP
    Jun 5, 2013
    73
    @lichao 行了，偏色问题问题解决了，原因是虚拟屏幕自身的色彩数太低。但是很奇怪的是图片渲染又没问题...
    vibbow
    vibbow
    OP
    Jun 5, 2013
    74
    http://vsean.net/blog/post/178
    截图服务器配置过程以及我的源代码

    @livid 求APPEND到主题里。
    vibbow
    vibbow
    OP
    Jun 5, 2013
    75
    @fuxkcsdn 大概瞄了一眼，他和我的方法完全不一样
    他是VNC进去，打开浏览器，然后做屏幕截图的：
    http://api.browsershots.org/png/original/2c/2cdd15d98d5f44c7ed188511ae8c972a.png
    而且: 网站中间部分内容没有了，只有个开头和结尾。还不支持中文...
    Livid
    Livid
    MOD
    PRO
    Jun 5, 2013
    76
    @vibbow 多谢分享，现在每个主题可以 Append 最多 10 次了。
    RobinFai
    RobinFai
    Jun 5, 2013
    77
    @vibbow 你觉得我会告诉你用cutyCapt，可以无视java么？
    vibbow
    vibbow
    OP
    Jun 5, 2013
    78
    @RobinFai Flash呢亲~
    vibbow
    vibbow
    OP
    Jun 5, 2013
    79
    @RobinFai 好吧，貌似也支持Flash。
    不过我还是会停留在Selenium的。因为Selenium不仅仅是用来抓屏用的，而且可以进行交互操作~
    won
    won
    Jun 5, 2013
    80
    视频框内截不到
    vibbow
    vibbow
    OP
    Jun 5, 2013
    81
    @won 说明他是异步加载的。
    默认只会在主页面加载完成后就立刻截图，不会管那些异步加载的东西的。
    won
    won
    Jun 5, 2013
    82
    @vibbow 不对，我认为是他的服务器端没有装解码器
    vibbow
    vibbow
    OP
    Jun 5, 2013
    83
    @won 服务器装Flash了。优酷的视频flash播放器的确是在页面加载完成后才出来的。
    vibbow
    vibbow
    OP
    Jun 5, 2013
    84
    @choolib 加入了几个常用字体，你可以再试试~
    Showfom
    Showfom
    PRO
    Jun 5, 2013
    85
    @vibbow 不是，我的意思是说，可以看到你是模拟了什么 UA 出来的。。。可以模拟多点 UA 出不同的截图效果哦
    nginxreport
    nginxreport
    Jun 5, 2013
    86
    有点意思，截出来是这样的：

    http://vps.vsean.net/screenshot/take.php?url=http%3A%2F%2F52q.net
    vibbow
    vibbow
    OP
    Jun 6, 2013
    87
    @Showfom 我的UA不是模拟出来的，而是我就是启动了一个Firefox去截图的。
    Livid
    Livid
    MOD
    PRO
    Jun 6, 2013 via iPhone
    88
    为什么现在只能看到一个红色禁止符？
    vibbow
    vibbow
    OP
    Jun 6, 2013
    89
    @nginxreport 截图有防盗链功能的哦～～～
    vibbow
    vibbow
    OP
    Jun 6, 2013
    90
    @Livid 防盗链措施。他自己能看到是因为他从首页截取过，图片在本地我也设置了一个小时的缓存时间。
    shidenggui
    shidenggui
    Jun 6, 2013
    91
    http://www.ihaveu.com/
    试了一下，貌似无法截取这个网站，chrome上很多扩展也不行，奇怪了
    vibbow
    vibbow
    OP
    Jun 6, 2013
    92
    @shidenggui 因为他是Flash，而且他的Flash太大了。截图的时候Flash没加载完，就截不出来了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2715 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 14:02 · PVG 22:02 · LAX 06:02 · JFK 09:02
    ♥ Do have faith in what you're doing.