随着福耀集团的生产规模扩张，伴随着福耀走向全球，全球范围采购越来越多。为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供...
分类：
其他好文 时间：
2015-03-09 15:59:10
阅读次数：
233
最近一段时间，办公网的局域网老是出现问题，突然延迟很高，突然丢包很严重。通过抓包数据分析，是在这一时间内局域网内有大量的单播数据包被泛红导致。为什么单播数据包会以广播方式全网泛红呢？抓包分析测试排查经过一系列的动作，最终通过流量监控发现，在这一时间内，某一..
分类：
其他好文 时间：
2015-03-09 11:06:51
阅读次数：
137
目前，无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题，社会大众在应用数据信息之际也被社会诸多的数据信息所围绕，即使现代社会数据信息的发展情况较为良好、也让社会大众更为信服，然而在社会大众对大数据的印象观念中，数据形式的发展已经超过了他们所预想的、数据总量已经超过社会大众所理解的范...
分类：
其他好文 时间：
2015-03-08 10:27:54
阅读次数：
156
目前，在大数据时代下，无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题，社会大众在应用数据信息之际也被社会诸多的数据信息所围绕，即使现代社会数据信息的发展情况较为良好、也让社会大众更为信服，然而在社会大众对大数据的印象观念中，数据形式的发展已经超过了他们所预想的、数据总量已经超过社...
分类：
其他好文 时间：
2015-03-08 10:26:34
阅读次数：
120
在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台，它提供的SQ...
分类：
Web程序 时间：
2015-03-07 22:34:02
阅读次数：
192
在工作中需要完成这么一个需求:比较两个表的表结构是否形相同,并找出差异.比较两个表中的数据是否相同,并找出差异数据? 分析:由于表结构中字段比较多,手工比较很浪费时间,而且不能保证不出错误.对于表中的数据那就能多了,更不能靠这种方式比较. 为了思考问题简单和方便测试,首先先建立两个测试表,...
分类：
数据库 时间：
2015-03-07 22:27:25
阅读次数：
274
一、数据准备
1、每天生成随机一个文本，每小时向文本中追加2次数据，每次10万条
随机数据生成：
2,32 * * * * bash /mnt/jediael/irms/signalGenerator/signalGenerator.sh >> /home/jediael/sg.log 2>&1
类：SignalGenerator
2、每天将前一天生成的数据文本导入HDFS
3...
分类：
其他好文 时间：
2015-03-06 16:01:50
阅读次数：
115
简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，g...
分类：
系统相关 时间：
2015-03-06 15:47:36
阅读次数：
216
在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：
1，Pig是什么？
Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转...
分类：
Web程序 时间：
2015-03-06 09:47:10
阅读次数：
140
在文章开始之前，我们还是简单来回顾下Pig的的前尘往事：1，Pig是什么？Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache（一个开源软件的基金组织）的一个项目，由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like..
分类：
Web程序 时间：
2015-03-06 06:21:44
阅读次数：
146
