siri521
V2EX  ›  问与答

多数据源如何 sql 连接查询

  •  
  •   siri521 · Jan 12, 2023 · 3284 views
    This topic created in 1407 days ago, the information mentioned may be changed or developed.

    报表服务,需要联接查询多个数据源,进行列表展示,这个有比较好的实现方案么? 多数据源指 a 库再 A 服务器,b 库再 B 服务器……

    目前想到的方案是,通过代码来获取数据,在 A 服务器 a 库查询出关联字段后,在去 B 服务器 b 库进行查询,但是代码会比较复杂,请问大家有什么好的实现方案么?

    注:冗余表这个方案暂时不考虑,因为连接查询的表与条件是用户手动配置的,所以不考虑这个方案

    Supplement 1  ·  Jan 12, 2023
    补充下, 数据库可能是各种类型,没有限制,例如,mysql 中的表与 oracle 中的表连查
    Supplement 2  ·  Jan 12, 2023
    数据库种类有很多种,mysql 、oracle 、sqlserver 等,只做 DQL 操作
    Supplement 3  ·  Jan 12, 2023
    谢谢大家,目前跟 leader 确认,写业务逻辑来实现这个功能
    20 replies  •  2023-01-12 16:59:30 +08:00
    106npo
    106npo
    Jan 12, 2023 via Android
    1
    你数据库支持就能跨实例查询 比如 dblink 或者 FEDERATED 引擎
    strawberryBug
    strawberryBug
    Jan 12, 2023 via Android
    2
    trino
    haimianbihdata
    haimianbihdata
    Jan 12, 2023 via Android
    3
    Doris 好像可以的
    shakoon
    shakoon
    Jan 12, 2023
    4
    提问要讲清楚关键信息啊,a 库 b 库用的什么数据库这种关键信息不说?
    oracle 的话可以在一个库上面建其他库的 dblink ,然后所有操作和本地库一样。
    mysql 的话可以用 federated 引擎在本地建立一个空表链接到其他实例下的数据去,使用时和本地表一样的用,但是不支持事务
    opengps
    opengps
    Jan 12, 2023
    5
    先抽数集中到一个库里啊
    itechify
    itechify
    Jan 12, 2023 via Android
    6
    你是不是需要数仓?
    8355
    8355
    Jan 12, 2023
    7
    你是不是需要中台
    lower
    lower
    Jan 12, 2023
    8
    pg 有各种 fdw 插件,是不是可以满足你的要求?
    lower
    lower
    Jan 12, 2023
    9
    @lower 不过看了一下好像都是 GitHub 上第三方维护的,不知道稳定性如何
    EXChen
    EXChen
    Jan 12, 2023
    10
    presto
    loading
    loading
    Jan 12, 2023 via Android
    11
    oracle bridge ?
    ym1ng
    ym1ng
    Jan 12, 2023
    12
    spark sql ?
    nekoneko
    nekoneko
    Jan 12, 2023
    13
    trino 或 presto, 推荐 trino
    lichao
    lichao
    Jan 12, 2023
    14
    同数据库类型的数据库有的(只试过 MS SQL SERVER )是可以相互 join 查询的,不同数据库类型的话应该行不通,只能分别查询然后自己用代码组装数据
    11ssss
    11ssss
    Jan 12, 2023
    15
    不选大数据技术栈可以看看这个
    https://github.com/Qihoo360/Quicksql
    wangxiaoaer
    wangxiaoaer
    Jan 12, 2023
    16
    这是典型的数据仓库场景,不要试图在代码层面解决。搞个专门用来展示、分析的库,这个库也就是所谓的数据仓库,定期从其他不同源同步,至于如何同步就可以通过一些脚本、工具定时执行了。
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Jan 12, 2023
    17
    把数据拉回来再搞
    不然别人嫌弃死你
    siri521
    siri521
    OP
    Jan 12, 2023
    18
    @wangxiaoaer 信息的实时性要求比价高,如果定期从其他不同源的地方同步的话,实施性比较差吧
    wangxiaoaer
    wangxiaoaer
    Jan 12, 2023
    19
    @siri521 这就是同步策略了,假如是 mysql 的基于 binlog 的推送同步,实时性没啥问题吧。 除非是定时轮询同步才存在实时性问题。
    zzzain46
    zzzain46
    Jan 12, 2023 via iPhone
    20
    数据仓库
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1128 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 23:18 · PVG 07:18 · LAX 15:18 · JFK 18:18
    ♥ Do have faith in what you're doing.