讨论了glusterfs对文件系统爬虫rsync／ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作，减少fuse client的负载，减少req的网络轮询次数，减少一次网络通信时间，缓存预抓取，并发，异步，bulk 传输。...
分类：
其他好文 时间：
2014-05-05 13:24:35
阅读次数：
536
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
在发布或重启某线上某服务时常常会遇到抖动，具体表现为load和响应时间突然飙高。针对此问题作者通过抓栈分析目前响应时间过高的原因，并给出了解决思路，以及相应的实验结果。...
分类：
其他好文 时间：
2014-05-04 12:45:09
阅读次数：
260
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
股票F10关键字过滤工具 是一款专门通过分析离线的F10文件，来发现潜力牛股的工具。主要功能包括，输入任意关键字，过滤最新消息，八面来风，信息快讯等内容。输入股东名称，过滤该股东持有的所有沪深A股股票，十大流通股东持股占比变化，财务指标过滤选股等等。功能非常强大。...
分类：
其他好文 时间：
2014-05-03 17:43:10
阅读次数：
271
[ 需求分析 ]
在我们实际开发中常常会遇到这样的问题：记录一个类的方法运行时间，以分析性能。一般我们的做法是先在类的开始记录一个开始时间，然后在类的结束记录一个结束时间，二者相减就可以获取我们想要的结果。但是很多时候这些类已经打了jar包，我们无法直接修改源码，这个时候我们应该怎么办呢？...
分类：
其他好文 时间：
2014-05-03 15:54:47
阅读次数：
377
关键路径法(Critical Path Method, CPM)是一种基于数学计算的项目计划管理方法，是网络图计划方法的一种，属于肯定型的网络图。关键路径法将项目分解成为多个独立的活动并确定每个活动的工期，然后用逻辑关系（结束-开始、结束-结束、开始-开始和开始结束）将活动连接，从而能够计算项目的工期、各个活动时间特点（最早最晚时间、时差）等。在关键路径法的活动上加载资源后，还能够对项目的资源需求和分配进行分析。关键路径法是现代项目管理中最重要的一种分析工具。...
分类：
其他好文 时间：
2014-05-03 15:54:00
阅读次数：
488
ViewPager可以说是Android应用中使用比较广发的一个组件了，它可以帮助我们很方便地实现滑
动更换View的效果，刚好最近搞的一个项目有一个需求用到了这个，同时是要能在首页和尾页滑动时可
以进行响应，而不是像默认的那样没有任何动作，所以稍微研究了下，希望可以对大家有所帮助。
在分析了需求之后，发现这个应该是和ViewPager的换页监听有联系，于是做了个小demo，通过
实验来寻...
分类：
移动开发 时间：
2014-05-03 15:52:25
阅读次数：
449
BeautifulSoup 善于网页数据分析
请参考: http://www.crummy.com/software/BeautifulSoup
例如: 抓取CSDN首页极客头条内容 soup.py
import urllib2, re
from BeautifulSoup import BeautifulSoup
page = urllib2.urlopen("http://gee...
分类：
编程语言 时间：
2014-05-03 15:31:42
阅读次数：
401
