使用hadoop 进行页面的pv uv 计算
不推荐的做法
将访问者的cookie放在hashmap中进行去重计算uv,因为当访问量大时,会将hashmap撑爆,报出
java.lang.OutOfMemoryError: Java heap space
推荐做法:
使用textpair 将cookie作为second key 进行排序,在reduce中进行判断,如果上一个co...
分类:
其他好文 时间:
2015-01-18 11:55:00
阅读次数:
224
,aliyun 使用数据盘(aliyun新增数据盘使用,创建vg,aliyun 镜像系统本身未使用lvm-vg-lv)1.1直接挂载文件系统较易,不做分析http://help.aliyun.com/view/11108189_13491193.html?spm=5176.383518.9.3.u1...
分类:
其他好文 时间:
2015-01-17 16:19:15
阅读次数:
176
1,virt-install --connect qemu:///system --name web01_lvm --ram 1024 --vcpus=1 --disk=/dev/vg_lvm/web01-lvm --network bridge:br0 --accelerate --cdrom /...
分类:
其他好文 时间:
2015-01-17 15:01:42
阅读次数:
216
来源:http://blog.csdn.net/column/details/mobilebackend.html?page=1做了3年app相关的系统架构,api设计,先后在3个创业公司中工作,经历过手机网页端,android客户端,iphone客户端,现在从事日pv过5千万的云后端开发。其中的乐...
分类:
移动开发 时间:
2015-01-17 13:54:21
阅读次数:
320
1,扩容已有lvm 上的lv1.1 新建pv --> pvcreate /dev/sd*1.2 把新增的pv添加到lvm -->vgextend vg_ruiy /dev/sd*1.3 查看添加pv后的lvm --> vgdisplay -v vg_ruiy1.4 扩容lv --> lvexten....
分类:
其他好文 时间:
2015-01-17 12:27:10
阅读次数:
235
这一节学习了如何创建LVM,LVM的快照以及RAID的相关配置。对于普通的分区,扩展度不高,一旦分区格式化完成,很难灵活的再增加或者减少分区大校为了解决这个问题,可以使用LVM(逻辑卷)。基本过程是把物理磁盘或者分区初始化称为物理卷(PV),然后把PV加入VG(卷组),最后在..
分类:
其他好文 时间:
2015-01-14 18:21:25
阅读次数:
179
1.listview入门,自定义的数据适配器 public class ListViewActivity extends Activity { private ListView lv; public String tag = "ListViewActivity"; @...
分类:
移动开发 时间:
2015-01-13 22:58:32
阅读次数:
243
对于信号量,可以认为是一个仓库,有两个概念,容量和当前的货物个数。P操作从仓库拿货,如果仓库中没有货,线程一直等待,直到V操作,往仓库里添加了货物,为了避免P操作一直等待下去,会有一个超时时间。V操作往仓库送货,如果仓库满了,线程等待,直到有P操作,从仓库中拿走货物,有空的位置。创建信号量,设置容量...
分类:
其他好文 时间:
2015-01-12 22:29:23
阅读次数:
228
1 扩容前检查cat /etc/fstabdf -h在扩容之前请确认VG的Free大小,以及文件和文件系统是否达到系统限制2系统识别硬盘#echo "- - -" > /sys/class/scsi_host/hostNumbers/scanhost在ls -lrt /sys/class/scsi_...
分类:
系统相关 时间:
2015-01-12 16:24:33
阅读次数:
825
你想建设一个能承受500万PV/每天的网站吗? 500万PV是什么概念?服务器每秒要处理多少个请求才能应对?如果计算呢? PV是什么:PV是page view的简写。PV是指页面的访问次数,每打开或刷新一次页面,就算做一个pv。 计算模型: 每台服务器每秒处理请求的数量=((80%*总PV量)/.....
分类:
Web程序 时间:
2015-01-11 19:06:30
阅读次数:
185