spark 2017的资料A stream processing pipeline for an online advertising platform(A stream processing pipeline for an online advertising platform)

Structured-Streaming的使用说明(Building-Continuous-Application-with-Structured-Streaming-and-Real-Time-Data-Source-with-Arijit-Tarafdar-and-Nan-Zhu-iteblog)

摘要: 现有的聚类算法比如 CluStream 是基于 k-means 算法的。这些算法不能够发现任 意形状的簇以及不能处理离群点。 解决上述问题,本文提出了 而且, 它需要预先知道 k 值和用户指定的时间窗口。 为了 分将数据映射到一个网格, D-Stream 算法,它是基于密度的算法。这个算法用一个在线部 在离线部分计算网格的密度然后基于密度形成簇。 度衰减技术来捕获数据流的动态变化。 为了探索衰减因子、 数据密度以及簇结构之间的关系, 我们的算法能够有效的并且有效率

kafka与spark stream实时流整合系统(sparkstream and kafka integrated real-time streaming system)