大数据杂谈

1、大数据在物联网行业的应用

目前应用主要是物联网周报，日报，月报，当然也有各种大屏展示及可视化报表。

2、大数据之实时数仓，离线数仓

2.1、实时数仓所用技术栈链路一般是：flinkCDC/kafka--flink-->hbase/hive

dataflow:数据流动，有向无环图，也称为逻辑图
flink 的dataflow大概为：source ---> transformate ---> sink

2.2、离线数仓所用技术栈一般是：DataX/Sqoop---> kafka ---> spark ---> hive/hbase

spark计算：hive on spark or spark on hive