标签：
先说业务，
在flatMap阶段，当前指标会在redis去验证数据是否是新用户，如果是新用户，那么进行统计，统计会将该新用户add至我们的redis容器中。。。
这个业务其实很简单。。。但坑自己的是，flatMap后的RDD，会被两个不同的action使用。。。
然后。。。我发现第二个action中永远是统计不到新用户了。。。。。
不知道大家看出来问题的原因了吗？ 我TMD排查一天才找到原因。
因为flatMap是个transform，每次action才会执行。 而我执行两次action那么flatMap就会执行两次， 结果就是第二次执行时，肯定一个新用户就没有了啊。。。
好坑
好坑
坑TMD死我了。。。。
记录一下SparkStreaming中因为使用redis做数据验证而导致数据结果不对的问题
标签：
原文地址：http://www.cnblogs.com/hark0623/p/4674089.html
