码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
利用LDA进行文本聚类(hadoop, mahout)
项目原理概述利用sqoop将数据从MySQL导入到HDFS中,利用mahout的LDA的cvb实现对输入数据进行聚类,并将结果更新到数据库中。数据流向图如下mahout算法分析输入数据格式为的matrix矩阵,key为待聚类文本的数字编号,value为待聚类文本的单词向量Vector, Vector...
分类:其他好文   时间:2014-07-07 10:43:16    阅读次数:1186
Oracle数据的基本操作
一、什么是Oracle         在学习DRP系统之前,很多次提到过Oracle,也了解过,那么Oracle是什么?今天我终于揭开了它的神秘面纱。         Oracle:是一个公司,当然我在这里说的是Oracle数据库,与之前学到的SQLserver一样,都是一种关系型数据库管理系统。由于Oracle对大型的数据处理快速,所以称之为企业级数据库,而SQLserver是中小型的数...
分类:数据库   时间:2014-07-03 18:01:38    阅读次数:295
java.sql.SQLException: [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序解决方法
开发程序需要登录功能 ,就不想用大数据库,直接用java连接access。     在自己机器上一切正常,  url直连 和配置数据源都没有问题。  发布到windows server2008 上 ,获取不到数据连接。      系统都是64位, office是2010  32位。     问题找了半天,最终得以解决:            32为的Access driver 需要用32为的jd...
分类:数据库   时间:2014-07-03 17:57:43    阅读次数:294
读书笔记-HBase in Action-第二部分Advanced concepts-(2)Coprocessor
Coprocessor是HBase 0.92.0引入的特性。使用Coprocessor,可以将一些计算逻辑下推到HBase节点,HBase由一个单纯的存储系统升级为分布式数据处理平台。 Coprocessor分为两种:Observer和Endpoint。Observer能修改扩展已有的客户端操作功能,而Endpoint能引入新的客户端操作。 Observer Observer的作用类似于数据...
分类:其他好文   时间:2014-07-03 15:35:50    阅读次数:247
实例讲解如何使用C++操作MySQL数据库类
用C++操作MySQL数据库类: 注释:这几个类对处理不是很大数据量的操作是很理想的, 但不适宜特大型的数据的查询,因为源码中将查询到的数据直接放入了内存。 /* * project: * 通用模块 ( 用 c++ 处理 mysql 数据库类,像ADO ) * * description: * .....
分类:数据库   时间:2014-07-02 18:33:14    阅读次数:320
浅谈跨国网络传输
在这个大数据,云部署不断映入眼帘的时代,也许很多人作为公司IT架构的管理者都会觉得有些无助和迷惘。新兴的科技确实给日常的IT工作带来了便利,但亦带来了种种挑战和不可预期的困难。数据的存储,传输的便利固然重要,但是数据的安全却要重要的多。你永远都不会希望把自己的..
分类:其他好文   时间:2014-07-02 16:03:04    阅读次数:268
【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键
【甘道夫】Hadoop2.2.0环境使用sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键...
分类:数据库   时间:2014-07-02 15:23:24    阅读次数:276
Gartner:2014年十大信息安全技术
美国时间6月26日,在Gartner举办的安全与风险管理峰会上,发布了2014年的十大信息安全技术。这十大技术分别是:1)云访问安全代理:放置于边界或者云端的PEP(策略执行点),当前云身份管理的热点技术2)自适应访问控制:基于情境感知的访问控制3)沙箱普遍化:沙箱不再是一个..
分类:其他好文   时间:2014-07-02 10:57:33    阅读次数:184
数据科学可视化之要途
大数据的概念越来越多的被人们提及的今天,数据可视化也同样被提上了日程。可视化已经成为了解数据的最佳方式(或唯一的方法),而且如果我们不可视化的话,我们就会落伍。人们使用计算机创建图形图表,可视化提取出来的数据,将数据的各种属性和变量呈现出来。随着计算机硬件的发展,人们创建更复杂规模更大的数字模型,发...
分类:其他好文   时间:2014-07-02 10:28:47    阅读次数:146
虚拟化、大数据、云计算、物联网、移动互联网与传统互联网关系
网络将物联网、传统互联网和移动互联网的数据连接、汇聚在一起形成“大数据”,这些数据经过人类刻意的、针对特意用途的分析产生价值用于决策分析等,计算和分析的平台则是“云计算”,机器学习应该算是“大数据”的获取和分析吧。云计算平台的搭建则借助于虚拟化技术。...
分类:移动开发   时间:2014-07-02 09:54:11    阅读次数:222
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!