Home Sign Up Sign In
爱意满满的作品展示区。
Advertisement
ArchiTech

分享自己做的一个自动检测网站变化的工具 - Web Watchman

  •   
  •   ArchiTech · Dec 21, 2017 · 27706 views
    This topic created in 3240 days ago, the information mentioned may be changed or developed.
    开始写这个工具是因为自己会用到，比如看某些番剧有没有更新，小说有没有更新，想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了，所以就做了这个比较通用的工具，原理就是简单的截图然后比较有没有变化。

    做之前我先看了看网上已经存在的一些工具，感觉多少都有些限制，比如查询的频率一天只能查一次，没有保存网页变化的历史等等，要么就是 UI 我不喜欢。。。所以，最后还是自己动手了，做完后加上了个注册系统支持多用户，各位如果想用也欢迎来试试~

    webwatchman.com
  • 工具
  • 番剧
  • watchman
  • 变化
    55 replies  •  2020-10-31 23:15:44 +08:00
    touzi
    touzi
    Dec 21, 2017❤️1
    1
    很是需要, 先来一个美剧试试
    pywilhelm
    pywilhelm
    Dec 21, 2017
    2
    截图之后选取区域后对区域进行监控这个是怎么实现的？只是截图吗？如果网页不定长怎么处理？
    nfroot
    nfroot
    Dec 21, 2017
    3
    bootstrap.css 花了 17 秒才载入完成，能不能套个 CDN 啊，免费的 CF 也比这个快吧……
    SevenJ
    SevenJ
    Dec 21, 2017
    4
    赞
    但是 http://webwatchman.com/task.html 里头图片没有 load 出来
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    5
    @nfroot O__O "…我本身离服务器近，完全没注意到速度问题，我尽快换成 cdn 哦...哈哈哈
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    6
    @SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个？我看看去？
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    7
    @pywilhelm 对，单纯截图。如果你关心的区域距离网页顶部的高度会变化，那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。
    qfdk
    qfdk
    PRO
    Dec 21, 2017
    8
    根据上面的评论,感觉可以浏览一些奇怪的网页 或者图片 斜眼笑

    ![Snipaste_2017-12-21_08-23-59.png]( https://i.loli.net/2017/12/21/5a3b6199b9545.png)
    timothyye
    timothyye
    Dec 21, 2017
    9
    @qfdk 老司机
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    10
    @qfdk 花式翻墙...
    SaulLawliet
    SaulLawliet
    Dec 21, 2017
    11
    赞
    借地贴一个类似功能的本地脚本
    https://github.com/SaulLawliet/watchdog
    lloovve
    lloovve
    Dec 21, 2017 via iPhone
    12
    邮件炸弹
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    13
    @SaulLawliet 不错，你是 css_selectors 的思路，得到的结果最准确，就是开始设置的时候非专业人士可能不会怎么选取元素
    ArchiTech
    ArchiTech
    OP
    Dec 21, 2017
    14
    @lloovve 啊？
    mskf
    mskf
    Dec 21, 2017❤️1
    15
    不错不错，个人觉得这个可以开源一哈，因为很多页面是需要登陆才可以看到具体内容的，可以做成一个本地化的工具（例如浏览器插件）
    solobat
    solobat
    Dec 21, 2017
    16
    不错，mark 一下
    SevenJ
    SevenJ
    Dec 21, 2017
    17
    @ArchiTech 过了大概几分钟后图才刷出来，图片是放 S3 还是？
    qianyi0129
    qianyi0129
    Dec 21, 2017
    18
    需要登录的网站呢？
    Zzde
    Zzde
    Dec 21, 2017
    19
    等待时候的动画不错
    nendors
    nendors
    Dec 21, 2017❤️1
    20
    支持下 顺便测试下
    maemolee
    maemolee
    Dec 22, 2017
    21
    动态加载的网页也能跟踪吗？那就很厉害了。
    maemolee
    maemolee
    Dec 22, 2017
    22
    啊，失败了。
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    23
    @SevenJ 加州服务器上....我周末就加 cdn👌
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    24
    @maemolee
    我试了你那个 url, 没问题呀~
    https://imgur.com/a/3gkMy
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    25
    @qianyi0129 我没想清楚怎么做呢，您有想法可以讨论讨论~
    maemolee
    maemolee
    Dec 22, 2017
    26
    @ArchiTech #24 这就很微妙了。。。
    cdlixucd
    cdlixucd
    Dec 22, 2017 via Android
    27
    php 吗
    xuanyuanaosheng
    xuanyuanaosheng
    Dec 22, 2017 via Android
    28
    看着不错～
    buseni
    buseni
    Dec 22, 2017 via Android
    29
    不错
    ORZRRR
    ORZRRR
    Dec 22, 2017
    30
    牛 b
    xxx.com 可以快照
    楼主用的哪家服务器啊？
    qianyi0129
    qianyi0129
    Dec 22, 2017
    31
    @ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能 在 dashboard 中
    nameryan
    nameryan
    Dec 22, 2017❤️1
    32
    以前用过一款 chrome 插件的，不太好用。
    这个做的还不错，至少前端界面设计还是挺带感的，楼主应该也懂一些设计吧。
    先用着，后面可以加一些 chrome 插件等。
    xuanyuanaosheng
    xuanyuanaosheng
    Dec 22, 2017
    33
    测试了，刷不出来啊
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    34
    @ORZRRR aws
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    35
    @qianyi0129 web clip 这个么？好像不会提醒诶。。
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    36
    @nameryan 真的假的，哈哈，就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.
    ORZRRR
    ORZRRR
    Dec 22, 2017
    37
    楼主
    那个 微信公众号文章图片首张是可以显示的 / 我有过 绕不开微信的图片盗链
    后面的懒加载图片就 loading 了，能解决这个问题嘛？并分享下方法 [人工提前点赞]
    BadReese
    BadReese
    Dec 22, 2017
    38
    截图有点慢..试了下微博
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    39
    @ORZRRR 可以设置页面打开后等待几秒再截图，也可以保证所有 ajax call 的返回后再截图。前者好一些，后者可能永远等不到完。
    ihciah
    ihciah
    Dec 22, 2017
    40
    emmmm 所以如果页面里包含 coinhive 会怎么样。。
    ArchiTech
    ArchiTech
    OP
    Dec 22, 2017
    41
    @ihciah
    程序每次打开一个页面截完图就关了，不会停留在那里很久的~
    不过，哇。。还有 coinhive 这种东西，好神奇的想法，拿用户的 cpu 挖矿，长见识了。。。
    droiz
    droiz
    Dec 22, 2017
    42
    一直在等待响应。。是不是 v2 的人打死了。。。
    magensky
    magensky
    Dec 22, 2017
    43
    楼主啥时候开源呢？这里根本显示不出来，一直转圈，很久后显示失败
    Ginson
    Ginson
    Dec 22, 2017
    44
    我现在在用一个类似的 Chrome 插件，叫 Distill Web Monitor。
    楼主说的 查询频率、保留历史这个插件都有实现，具体这样的
    ![1]( )
    ![2]( )
    ![3]( )

    PS：没有拆台的意思，只是觉得这个工具好像刚好能符合楼主需求
    ArchiTech
    ArchiTech
    OP
    Dec 23, 2017
    45
    @Ginson 哈哈，欢迎讨论，这个还有 visualping 我都用过，他们做的都挺好的，我只是觉得一些细微的地方和我理想中的工具稍微有点偏差，就自己动手了~
    ArchiTech
    ArchiTech
    OP
    Dec 23, 2017
    46
    @droiz 是被打的够呛，不过还没死呀。。。
    yearliny
    yearliny
    Dec 24, 2017 via Android
    47
    我这里运营商劫持非常严重，你的网页打开满屏广告根本看不了，建议上 SSL。
    kitty7030
    kitty7030
    Dec 30, 2017
    48
    "Failed - INTERNAL SERVER ERROR"
    随便一个网址都不行 下线了吗？
    leihejing
    leihejing
    Jan 11, 2018
    49
    对不起，你找的文件服务器上找不到 !

    收到邮件 点击确认链接后显示。。。。。
    ArchiTech
    ArchiTech
    OP
    Jan 11, 2018
    50
    @leihejing 点确认邮件应该会到改密码的页面呀，被劫持了？
    头像棒棒哒~
    ArchiTech
    ArchiTech
    OP
    Jan 11, 2018
    51
    @kitty7030 没有啊，再来试试？
    ArchiTech
    ArchiTech
    OP
    Jan 11, 2018
    52
    @yearliny 恩恩，尽快尽快，谢谢！
    leihejing
    leihejing
    Jan 12, 2018 via iPhone
    53
    @ArchiTech 不是劫持，看看其他大佬有没有这现象
    ArchiTech
    ArchiTech
    OP
    Jul 11, 2019
    54
    这个没有继续维护了，抱歉。
    因为很耗费服务器资源，开销太大，最麻烦的是这种图像比较的方法错误率太高。
    docx
    docx
    Oct 31, 2020
    55
    网站打不开了。
    请问有开源的打算吗？想自己部署一个，很需要。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2933 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 243ms · UTC 11:21 · PVG 19:21 · LAX 03:21 · JFK 06:21
    ♥ Do have faith in what you're doing.