求问 hive 和 sparkSQL 的问题

This topic created in 3011 days ago, the information mentioned may be changed or developed.

如果每天执行一次 job

表是每天建一个,还是更新之前的表?

还有就是,你们是这么写数据到 FS,然后再从 FS 到 hive 的

2 replies • 2018-08-07 14:38:56 +08:00

atomstar

Aug 7, 2018

如果是同类数据，肯定是根据时间分区啊每天写入新的分区即可。
至于数据怎么写入，要看你的源从哪里流来的，可以直接写 hdfs，也是根据日期分区写，然后做一下分区关联

mortonnex

Aug 7, 2018

@atomstar 谢谢

如果用 FS 作源,那么一般是怎么写 HDFS 的? 一天中某个时间统一写入?还是持续写入?