• 请不要在回答技术问题时复制粘贴 AI 生成的内容
heyyyy
V2EX  ›  程序员

不懂就问: Spark 处理业务逻辑写 SQL 还是 DataFrame?

  •  
  •   heyyyy · Feb 20, 2022 · 3472 views
    This topic created in 1730 days ago, the information mentioned may be changed or developed.

    性能上的差异是微乎其微的,Spark 底层都是转换成 RDD 执行。对于习惯写 SQL 的人来说,似乎关注 SQL 层面的优化即可。大佬们生产上都怎么用?

    5 replies  •  2022-02-21 17:51:43 +08:00
    picone
    picone
    Feb 21, 2022
    1
    我觉得重点还是需要关注最终执行计划,怎么实现都不重要。看看 DAG 有没有可优化的地方,比如减少 shuffle 数据,把重复计算的地方 cahce 等等。
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Feb 21, 2022 via iPhone
    2
    写啥都一样
    sl19981007
    sl19981007
    Feb 21, 2022
    3
    sql 能实现的用 DataFrame 的各种函数也都能实现,看个人习惯吧,用哪个都能用到 Spark SQL 的各种优化机制,Catalyst 、Tungsten 等,重要的还是减少 shuffle 吧
    vincent7245
    vincent7245
    Feb 21, 2022
    4
    看具体业务啦,对于临时性的简单业务,一般公司大数据中台都可以直接把 sql 提交到 spark 运行,这样更灵活一些。对于复杂的业务,一条 sql 搞不定的,或者比较稳定的业务,就手撸 DataFrame
    Aksura
    Aksura
    Feb 21, 2022
    5
    混合着用,有的逻辑 SQL 写清晰,有的逻辑调用方法清晰。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1168 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 23:30 · PVG 07:30 · LAX 15:30 · JFK 18:30
    ♥ Do have faith in what you're doing.