大数据处理涉及哪三种场景
AI知识君
全网内容智能分析
大数据处理涉及的三种主要场景包括:
1. 复杂的批量处理(Batch Data Processing):这种场景偏重点在于处理海量数据的能力,至于处理速度可忍受,通常的时间可能是在数十分钟到数小时。
2. 基于历史数据的交互式查询(Interactive Query):通常的时间在数十秒到数十分钟之间。
3. 基于实时数据流的数据处理(Streaming Data Processing):通常在数百毫秒到数秒之间。
以上三种场景需求都有比较成熟的处理框架,第一种情况可以用Hadoop的MapReduce来进行批量海量数据处理,第二种情况可以Impala进行交互式查询,对于第三中情况可以用Storm分布式处理框架处理实时流式数据。
参考来源
[1]常见大数据应用场景
xie.infoq.cn
[2]2021-06-10
CSDN博客