中间件与大数据
大数据平台
大数据技术栈覆盖数据的采集、存储、计算、分析全链路。Hadoop/Spark/Flink三大计算框架各有所长。
核心要点
- Hadoop：HDFS分布式文件存储、MapReduce批处理、YARN资源调度
- Spark：RDD弹性分布式数据集、内存计算、DataFrame/SQL API
- Flink：真正的流处理、事件时间与水位线、Exactly-Once语义
- Lambda架构：批处理层+流处理层+服务层，兼顾实时与准确
- 数据湖 vs 数据仓库：Schema-on-read vs Schema-on-write