目前，SPARK在大数据处理领域十分流行。尤其是对于大规模数据集上的机器学习算法，SPARK更具有优势。一下初步介绍SPARK在linux中的部署与使用，以及其中聚类算法的实现。...
分类：
编程语言 时间：
2014-11-12 21:21:04
阅读次数：
264
问题：为什么要导入导出为csv文件呢？
（1）所谓大数据处理，仅仅关心某些列的数据，而非整个表结构，这些数据就需要保存为csv通用的存储格式，不仅可以在widows下作为文本文件进行处理；也可以在hadoop分布式系统上上进行处理；
（2）mysql 数据库 迁移为 Oracle 、SQLServer数据库，或者反过来，由于各自的设计不同，不能直接的导入导出为dmb sql等格式的文件...
分类：
数据库 时间：
2014-11-03 11:30:36
阅读次数：
280
大数据分析_大数据处理_大数据技术_云计算_网络数据与科学网络大数据(www.raincent.com)整合了大数据分析，大数据处理，大数据技术，云计算为一体，力争打造国内数一数二的网络数据处理平台。互联网和手机无疑是现代社会最伟大的发明。当两者结合后，整个世界出现了翻天覆地的变化，人们的生活习惯已...
分类：
移动开发 时间：
2014-10-28 15:22:21
阅读次数：
240
10月22日，讯飞移动广告平台（http://www.xfyun.cn）正式上线了，讯飞移动广告平台依托讯飞语音云强大的语音语义交互、云计算、大数据处理、服务器负载集群等能力，凭借40000多合作伙伴和超过5亿终端用户的资源积累，以及日均1亿+的广告请求，为移动开发者提供稳健变现的广告服务。
讯飞移动广告平台聚焦移动广告聚合优化，与多家优质移动广告平台、DSP平台以及广告交易平台合作，通过先...
分类：
移动开发 时间：
2014-10-22 18:17:38
阅读次数：
556
我们已经进入了大数据处理时代，须要高速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品能够从各种各...
分类：
其他好文 时间：
2014-10-19 22:35:01
阅读次数：
286
一、Oracle中大数据处理 在Oracle中，LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因为这种类型的字段，容量大（最多能容纳4GB的数据），且一个表中可以有多个这种类型的字段，很灵活，适用于数据 量非常大的业务领域（如图象、档案等）。 LOB类型分为BLOB和.....
分类：
数据库 时间：
2014-10-18 12:20:37
阅读次数：
242
最近两天给一个项目搭建linux下的大数据处理环境，系统是CentOS 6.3。主要是配置JDK，安装Tomcat，Hadoop、HBase和Zookeeper软件，本人在Hadoop这方面也是新手，配置这个环境遇到过许多问题，查了许多资料，这里做一个总结，以便日后回顾。
首先是账户权限的修改，安装软件环境需要上传文件和一些系统文件的修改权限，所以最好设置成root权限
权限修改方法：http...
分类：
其他好文 时间：
2014-10-17 22:03:55
阅读次数：
225
GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。
该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统的MapReduce进行了扩展，为大数据处理情况提供了更好的性能。...
分类：
其他好文 时间：
2014-10-16 17:15:42
阅读次数：
235
全世界每天都有几十亿人使用计算机、平板电脑、手机和其它数字设备产生海量数据。在这个各个行业和领域都已经被数据给渗透，数据已成为非常重要的生产因素的大数据时代，对于大数据处理和大数据挖掘将意味着新一波的生产率不断增长和消费者盈余浪潮的到来。 在大数据时代下，从头至尾我们都脱离不了数据挖掘。有人把...
分类：
其他好文 时间：
2014-10-15 11:32:10
阅读次数：
248
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富...
分类：
其他好文 时间：
2014-10-09 17:05:07
阅读次数：
264
