日志分析单机日志分析,适用于小数据量的。(最大10G),awk/grep/sort/join等都是日志分析的利器。
例子:
1、shell得到Nginx日志中访问量最高的前十个IPcat access.log.10 | awk '(a[$1]++) END (for(b in a) print b"\t"a[b])' | sort -k2 -r | head -n 102、python 统计每个...
分类:
其他好文 时间:
2016-05-18 18:51:05
阅读次数:
174
Hadoop
0.hbase-env.sh
export JAVA_HOME=/software/jdk1.7.0_80
1.core-site.xml
fs.defaultFS
hdfs://master:9000
hadoop.tmp.dir
...
分类:
其他好文 时间:
2016-05-18 18:50:33
阅读次数:
115
在以前的文章《使用Buildroot与Qemu学习ARM linux IIC驱动》中,写到过使用qemu来模拟使用ARM
Linux,那个时候借助的是buildroot,这次我们使用Yocto来做同样的事情。
优点
使用Qemu的好处在于,当我们在开发Userspace的程序时,可以在没有硬件的情况下完成测试。
同时不像以前一样我们需要自己去编译qemu,这次我们使用Yocto编译出来的...
分类:
其他好文 时间:
2016-05-18 18:50:22
阅读次数:
638
基于CentOS安装Yate
1前言
思前想后,很多东西现在理解了,会用了。时间长了,对这个系统进行bug修复的时候。很多知道的东西会忘的差不多,需要重新花比较多的时间去理解和学习。俗话说:好记性不如烂笔头。还是老老实实的用文字和图片的方法来记录。
为了让以后的自己轻松一点,只要让现在的自己多做一点工作,重新开始搭建yate的环境。
2源码下载
最好从官网下载,
官网...
分类:
其他好文 时间:
2016-05-18 18:48:29
阅读次数:
206
一.简介
今天学习一下设计模式中的迭代器模式,迭代器模式是一种非常非常常用的设计模式,以至于太有用了,C#,Java都将其作为内置实现,C++也提供了STL的迭代器,我们每天都在用,却反倒感觉迭代器模式没那么重要了。毕竟我们自己实现的迭代器还是比不上语言原生提供的实现,但是为了学习,我们还是要看一下迭代器模式的实现,只有了解了原理,才能更好地使用。
我们很多时候都是在处理一组对象,相对...
分类:
其他好文 时间:
2016-05-18 18:50:15
阅读次数:
129
使用 pandas 和 matplotlib 分析推特Python有着各种各样的可视化库,其中包括了seaborn, networkx 和 vispy。大部分的可视化Python库都是基于或部分基于matplotlib, matplotlib往往是绘制一些简单图的首选,但是同时对于太过复杂的图往往无能为力而不得不借助于其他库。在本篇的matplotlib教程中,我们将会涉及到该库的基础,并通过一些中...
分类:
其他好文 时间:
2016-05-18 18:49:58
阅读次数:
312
架构:数据收集:spark stareming从Azure Queue收集数据,通过自定义的spark stareming receiver,源源不断的消费流式数据。
数据处理: spark stareming分析用户行为日志数据,通过实时的聚集,统计报表现有的应用的运营信息,,也可以通过离线的训练模型,对实现数据进行预测和标注。
结果输出:hdfs
数据收集用到了这个东西,miner是个j...
分类:
其他好文 时间:
2016-05-18 18:47:30
阅读次数:
222
开启服务器上的network DDE和Remote Registry服务 ,并在客户机上用net use 命令与服务器建立连接 按需使用IIS Global Active Flushed Entries Active Flushed Entries 是缓存文件句柄,当前传输全部完成后将关闭此句柄。IIS Global 对象。Web Anonymous Users/Sec 用户通过 Web 服务进行的...
分类:
其他好文 时间:
2016-05-18 18:49:16
阅读次数:
132
字符编码、字符存储、字符转换及工程中字符的使用
版本控制
版本
时间(北京时间)
作者
备注
V1.0
2016-05-13
施小丰
创建本文、第七章工程总结尚未完成
一、 前...
分类:
其他好文 时间:
2016-05-18 18:46:14
阅读次数:
194
转载:http://www.cnblogs.com/ishangs/p/3816689.html
STUN/TURN/ICE协议在P2P SIP中的应用(二)
1 说明
2 打洞和穿越的概念... 1
3 P2P中的打洞和穿越... 2
4 使用STUN系列 协议穿越的特点... 2
5 STUN/ TURN/...
分类:
其他好文 时间:
2016-05-18 18:45:54
阅读次数:
269
剧情提要:
[机器小伟]在[工程师阿伟]的陪同下进入了[九转金丹]之第八转的修炼。设想一个场景:
如果允许你带一台不连网的计算机去参加高考,你会放弃选择一个手拿计算器和草稿本吗
?阿伟决定和小伟来尝试一下用计算机算高考题会是怎样的感觉。
正剧开始:
星历2016年05月16日 17:25:11, 银河系厄尔斯星球中华帝国江南行省。
[工程师阿伟]正在和[机器小伟]一起做着20...
分类:
其他好文 时间:
2016-05-18 18:46:54
阅读次数:
220
机器学习一Linear Regression(线性回归),采用的是python实现梯度下降方法,使用了L2正则化...
分类:
其他好文 时间:
2016-05-18 18:46:50
阅读次数:
198
MATLAB实现CNN一般会用到deepLearnToolbox-master。但是根据Git上面的说明,现在已经停止更新了,而且有很多功能也不太能够支持,具体的请大家自习看一看Git中的README。deepLearnToolbox-master是一个深度学习matlab包,里面含有很多机器学习算法,如卷积神经网络CNN,深度信念网络DBN,自动编码AutoEncoder(堆栈SAE,卷积CAE)...
分类:
其他好文 时间:
2016-05-18 18:45:22
阅读次数:
423
备注:分析的是OK210开发板自带的uboot_smdkv210,可能有些部分和其他版本不太一样,但是原理都类似。编译u-boot的步骤make forlinx_linux_config
make首先生成配置文件,然后编译源码,依次看看这些命令都干了些什么事情配置过程#forlinx add
forlinx_linux_config : unconfig
@$(MKCONFIG) $(@:...
分类:
其他好文 时间:
2016-05-18 18:46:39
阅读次数:
164
考虑这样一个问题:统计某个工程的代码行数。首先想到的思路便是,递归文件树,每层递归里,循环遍历父文件夹下的所有子文件,如果子文件是文件夹,那么再对这个文件夹进行递归调用。于是问题很轻松的解决了。这个方案可以优化吗? 了 再回想这个问题,可以发现,循环里的递归调用其实相互之间是独立的,互不干扰,各自统计自己路径下的代码文件的行数。于是,发现了这个方案的可优化点——利用线程池进行并行处理。于是一...
分类:
其他好文 时间:
2016-05-18 18:45:50
阅读次数:
181
Xib和storyboard都可以用来描述软件界面,都用Interface Builder工具来编辑.
两者的不同点:
1> Xib是轻量级的,用来描述局部的UI界面;
2> Storyboard是重量级的,用来描述整个软件的多个界面,并且能展示多个界面之间的跳转关系.
Xib文件的加载:
方法一:
?...
分类:
其他好文 时间:
2016-05-18 18:45:50
阅读次数:
310
1606: [Usaco2008 Dec]Hay For Sale 购买干草
Time Limit: 5 Sec Memory Limit: 64 MB
Submit: 978 Solved: 735
[Submit][Status][Discuss]
Description约翰遭受了重大的损失:蟑螂吃掉了他所有的干草,留下一群饥饿的牛.他乘着容量为C(1≤C≤50000)个单位的马车,...
分类:
其他好文 时间:
2016-05-18 18:44:29
阅读次数:
93