Variazioni
V2EX  ›  问与答

pgsql 数据同步至 elasticsearch 有什么轻量级的方案么

  •  
  •   Variazioni · Apr 28, 2024 · 2445 views
    This topic created in 931 days ago, the information mentioned may be changed or developed.
    本来用的是 mysql ,canal 同步到 es 没啥问题。最近要求迁移到 pgsql ,研究了半天,似乎没有太好用的方案。
    pgsync 资料太少。要依赖 redis 。搞半天也没搞明白。
    debezium 需要另外装 kafka 。
    其他还有什么轻量级的方案么?
    6 replies  •  2024-05-06 21:21:33 +08:00
    gabon
    gabon
    Apr 28, 2024 via iPhone
    1
    datax 应该是可以的,就是不知道满不满足你的轻量需求
    potatowish
    potatowish
    Apr 28, 2024 via iPhone
    2
    debezium 可以用嵌入式的引擎,不上 kafaka connect 也行。还可以试试 flink cdc ,直接用本地集群
    Variazioni
    Variazioni
    OP
    Apr 29, 2024
    3
    @gabon 需要实时同步。datax 好像做不到?
    Variazioni
    Variazioni
    OP
    Apr 29, 2024
    4
    @potatowish flink cdc 好像只支持到 es7 。我这边需要同步到 es8 ,很难受。
    debezium 使用嵌入式引擎同步到 es 有 demo 么?网上找了半天也没找到。
    potatowish
    potatowish
    May 6, 2024 via iPhone
    5
    @Variazioni es connector 支持 7.x 和更高版本,连接器用 elasticsearch-7 ,参考这个基于 table api 的 demo: https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/connectors/legacy-flink-cdc-sources/tutorials/build-streaming-etl-tutorial/
    Variazioni
    Variazioni
    OP
    May 6, 2024
    6
    @potatowish 感谢。flink cdc 挺好用的。就决定用它了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2730 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 00:41 · PVG 08:41 · LAX 16:41 · JFK 19:41
    ♥ Do have faith in what you're doing.