码迷,mamicode.com
首页 > 其他好文 > 详细

22 友盟项目--sparkstreaming对接kafka、集成redis--从redis中查询月留存率

时间:2018-11-15 10:24:11      阅读:335      评论:0      收藏:0      [点我收藏+]

标签:cto   友盟   org   项目   streaming   str   font   问题   cli   

 实时存储到redis,更新用户使用时间的最大、最小值--》来求留存率  避免全表扫描问题
1.spark 对接kafka 消费者   解析json  
2.concat(appid,‘#‘,appversion,‘#‘,brand,‘#‘,appplatform,‘#‘,devicestyle,‘#‘,ostype,‘#‘,deviceid) ---> 作为key  各个维度
3.选出用户使用app的最小时间戳min , 最大时间戳max  -->作为value
4.存储到redis
 
依赖
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.17</version>
        </dependency>

        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.9.0</version>
        </dependency>

 

 
 
 
 
 
 
 
 

22 友盟项目--sparkstreaming对接kafka、集成redis--从redis中查询月留存率

标签:cto   友盟   org   项目   streaming   str   font   问题   cli   

原文地址:https://www.cnblogs.com/star521/p/9961540.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!