• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Aliberter
V2EX  ›  程序员

有个统计网站 UV 的后台需求,用什么技术框架实现比较好?

  •  
  •   Aliberter · Oct 22, 2021 · 5133 views
    This topic created in 1840 days ago, the information mentioned may be changed or developed.

    如题,就是简单的接收前端的埋点上报,计数,主要是一堆文章,要记录每篇文章的推荐 UV 、浏览 UV,还能统计所有文章的 UV,最后统计展示出来,都是以日为维度,请教大佬们,用什么做? redis? mysql? elasticsearch?

    Supplement 1  ·  Oct 22, 2021
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    34 replies  •  2021-10-24 14:23:09 +08:00
    Oktfolio
    Oktfolio
    Oct 22, 2021
    1
    ElasticSearch, MongoDB
    GM
    GM
    Oct 22, 2021❤️1
    2
    motamo
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    3
    @Oktfolio 多谢大佬,只怪自己这两样儿学的不精,多研究下吧
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    4
    @GM 这个没听说过呀,大佬
    eason1874
    eason1874
    Oct 22, 2021
    5
    PV/UV 统计的数据库好像比较流行用 PostgreSQL

    别用 matomo,开源版很吃资源,付费版不了解
    hidemyself
    hidemyself
    Oct 22, 2021
    6
    我们之前是用 redis 做的
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    7
    @eason1874 哦哦好的大佬,PostgreSQL 还了解点儿,matomo 不了解,那就不考虑了
    liujinayu4303
    liujinayu4303
    Oct 22, 2021
    8
    redis hyperloglog 了解下
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    9
    @hidemyself redis 计数很方便,但是比如我要汇总是不是比较麻烦啊,比如获取所有文章的总 UV 这种,还有按日期分组筛选这些,
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    10
    @liujinayu4303 我还在纳闷 redis 咋做,原来是有更高级的算法,多谢大佬,我去搜搜
    feitxue
    feitxue
    Oct 22, 2021
    11
    必须要自研吗?
    如果不是,接入三方的应该会更快。
    百度 cnzz 腾讯 谷歌 都有
    abigeater
    abigeater
    Oct 22, 2021
    12
    redis->定时写回数据库
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    13
    @feitxue 小公司,自己写来的快点哈哈~其实整个统计的体量也不是太大,自己写的就能扛得住,然后主要是针对一些自定义需求开发~
    kinge
    kinge
    Oct 22, 2021
    14
    直接用现成的统计产品,自己写的统计不准确
    feitxue
    feitxue
    Oct 22, 2021
    15
    @Aliberter 那建议别自己写了。
    feitxue
    feitxue
    Oct 22, 2021
    16
    建议你调研一下大厂现有的统计产品的功能,再决定是否自研。
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    17
    @feitxue 好的好的,我去研究下,跟领导商量下
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    18
    @kinge 不准确我倒是信哈哈,技术比较渣
    thetbw
    thetbw
    Oct 22, 2021
    19
    上家公司的是直接接入腾讯有数
    lithiumii
    lithiumii
    Oct 22, 2021 via Android
    20
    建议接入 sass
    虽然自建 matomo 可以做
    Aliberter
    Aliberter
    OP
    Oct 22, 2021
    21
    完了,我感觉偏了,我标题写差了,其实是 app 访问行为的统计,不是网站。app 埋点上报,后端统计,大佬们,
    hrdslin
    hrdslin
    Oct 22, 2021
    22
    直接上友盟
    cowcomic
    cowcomic
    Oct 22, 2021
    23
    友盟解决
    chenstor
    chenstor
    Oct 22, 2021
    24
    友盟或者诸葛
    qq1340691923
    qq1340691923
    Oct 22, 2021
    25
    thinkdata,神策数据,用完你会回来感谢我的
    qq1340691923
    qq1340691923
    Oct 22, 2021
    26
    thinkingdata,神策数据,用完你会回来感谢我的
    feitxue
    feitxue
    Oct 22, 2021
    27
    @Aliberter append 一下帖子.
    wellsc
    wellsc
    Oct 22, 2021
    28
    redis 呗,也不是很复杂的业务
    MineDog
    MineDog
    Oct 22, 2021
    29
    简单的 redis 的 HLL 就够了
    MineDog
    MineDog
    Oct 22, 2021
    30
    当然 bitmap 也可以
    fuchaofather
    fuchaofather
    Oct 22, 2021
    31
    比较麻烦。建议还是使用现成服务,业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:

    前端埋点 -> nginx -> tomcat 集群(简单处理解压过滤等)-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase (用户 id 使用 bitmap) -> phoniex 查询( redis 缓存)
    ericls
    ericls
    Oct 23, 2021 via iPhone
    32
    clickhouse
    duanqiaoyanyu
    duanqiaoyanyu
    Oct 23, 2021
    33
    bigmap Hyperloglog
    efaun
    efaun
    Oct 24, 2021
    34
    随机数
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1334 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 22:25 · PVG 06:25 · LAX 14:25 · JFK 17:25
    ♥ Do have faith in what you're doing.