Spark Stream 流式处理
生活随笔
收集整理的這篇文章主要介紹了
Spark Stream 流式处理
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
總結:
- Spark的核心數據結構是RDD(彈性分布式數據集)
- Spark Streaming 采用微批處理模式,保證消息傳輸精準性,采用checkpoint方式保證可靠性,具有良好的吞吐性能,延時表現非真正實時
- Spark Streaming 可以接收Kafka和HDFS等在內的多種數據源,批量處理后,輸出到HDFS、數據庫或文件系統
總結
以上是生活随笔為你收集整理的Spark Stream 流式处理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CB官方推荐AP英语文学与写作必读书目,
- 下一篇: 面向大规模图像检索的层次语义索引