本篇博客将结合手机上网流量业务来详细介绍Hadoop的二次排序机制、分区机制,先介绍一下业务场景:
先介绍一下业务场景:统计每个用户的上行流量和,下行流量和,以及总流量和。
本次描述所用数据:
日志格式描述:
日志flowdata.txt中的具体数据:
首先我们先通过mapreduce程序实现上面的业务逻辑:
代码实现:package FlowSum;import jav...
分类:
移动开发 时间:
2016-07-08 11:52:48
阅读次数:
330
大家都知道,Hadoop中为Key的数据类型必须实现WritableComparable接口,而Value的数据类型只需要实现Writable接口即可;能做Key的一定可以做Value,能做Value的未必能做Key.但是具体应该怎么应用呢?—-本篇文章将结合手机上网流量业务进行分析。
先介绍一下业务场景:统计每个用户的上行流量和,下行流量和,以及总流量和。
本次描述所用数据:
日志格式描述:...
分类:
移动开发 时间:
2016-07-08 00:17:51
阅读次数:
382
随着手机上网的普及,客人入住酒店、就餐、KTV休闲消费的间隙,随时随地的通过手机微信聊天、视频等,目前3G/4G上网流量费贵,客人使用消费场所提供的免费WiFi上网,成为人们的首眩酒店及消费场所的无线WiFi全覆盖,已经成为最基本的服务项目之一。酒店客房无线覆盖难点:2.4G..
分类:
其他好文 时间:
2016-04-02 10:54:23
阅读次数:
391
最近搞了一个监听神器,尽管使用了网卡混杂模式,不过监听到的几乎全是本地流量, 为了获取更多有用的数据,搞一下中间人攻击,最基本的就是arpspoof + IP转发,这样就可以获得局域网内任何人的上网流量, 难得的是实验室没有做ARP防护,给arpspoof一个大行其道的机会。arpspoof实战环境...
分类:
其他好文 时间:
2015-09-21 17:45:08
阅读次数:
201
hadoop mapreduce 在统计数据中的应用
分类:
其他好文 时间:
2015-09-04 11:06:11
阅读次数:
157
Android手机同时使用Wi-Fi和数据流量大家都知道,当手机成功连接到Wi-Fi热点以后,手机所产生的上网流量都是通过Wi-Fi来传输的,而手机的移动流量会被禁用。但是,我们现在有特殊的业务需求,需要让手机成功连接Wi-Fi后还可以走数据流量(比如3G、4G)。Android手机同时使用Wi-Fi和数据流量背景介绍
相关调研
查找方法
实现方法
使用wireless-tools方式驱动Wi-Fi...
分类:
移动开发 时间:
2015-04-09 17:27:56
阅读次数:
287
1、关注方倍工作室微信公众账号,回复“新年快乐”,弹出图文消息,点击进入“百度钱包”页面2、向上翻页,翻到移动电信100M或者联通50M的抢流量页面,点击“立即享有”按钮3、进入商品详细页面中,再点“立即享有”按钮4、在登录百度账号页面中,注册一个新的账号然后登录,不能使用旧的百度账号5、输入并保存...
分类:
其他好文 时间:
2015-02-01 23:11:18
阅读次数:
299
满世界的信息,灵动飞舞。卫星忙碌于输入和输出。美国GPRS告急!向中国人民下跪求饶,望更换其他运营商。无奈之下,北斗星亮了。如果信息是有形体,那么在牛逼的“苹果”也抵不住其从天而降的气势。因此,大气层也会被撕裂成菊花般美丽。“尊敬的客户,从本月1号起,至今天。您的上网流量,统计超出188M,超出部分...
分类:
其他好文 时间:
2014-12-24 13:15:13
阅读次数:
216
继360以后,腾讯也开始发布手机版本的免费wifi,将腾讯手机管家升级到5.2版本,就可以享受“免流量校正”、“免Root管理”“手机连接免费wifi”等炫酷功能。电脑一键开启免费wifi手机上网0流量腾讯电脑管家的网络工具里自带了免费wifi工具,操作步骤简单有效,实时保障连接到的..
分类:
其他好文 时间:
2014-11-20 15:41:39
阅读次数:
242
在成功安装Pig的基础上,本文将使用Pig对手机上网日志进行分析,具体步骤如下:
写在前面:
手机上网日志文件phone_log.txt,文件内容 及 字段说明部分截图如下
需求分析
显示每个手机号的上网流量情况。
依次完成以下步骤:
1、将Linux本地文件phone_log.txt上传到HDFS
执行命令dump C; 查看经过以上步骤处理后的...
分类:
移动开发 时间:
2014-05-25 13:00:50
阅读次数:
318