码迷,mamicode.com
首页 >  
搜索关键字:大数据 sqoop 数据处理    ( 17411个结果
一种适合于大数据的并行坐标下降法
在机器学习中,模型的训练是一个很重要的过程,它通常是对一个目标函数进行优化,从而获取模型的参数,比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下,尤其对于并行实现来说,优化算法通常是越简单越好,如坐标下降法(CD)和随机梯度下降法(SCG)就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记,主要介绍算法 Hydra (一种分布式坐标下降法)的算法框架、收敛性理论、...
分类:其他好文   时间:2014-06-29 07:38:26    阅读次数:350
移动互联网时代的大数据挖掘和精准营销
中国的这些年喜欢搞概念,什么云计算大数据啊,国家支持,专家鼓吹,各大会议论坛精彩纷呈,热闹过后发现还是默默地在用国外的技术和平台,就如同PC操作系统没有我们的份,手机操作系统也没有我们的份,虽然我们是世界上电脑和手机拥有量最多并且人们最喜欢玩手机的国家,感觉我们的学术专家和行业大佬们就只会扯蛋,扯多了会痛,痛定思痛,痛何如哉!吃饱喝足后还是继续扯蛋。相当可悲,若大个中国,真正心平静气地去做研究和开...
分类:移动开发   时间:2014-06-20 11:37:26    阅读次数:322
Good article about SQLServer index
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类: SQLServer |标签: |举报 |字号大中小订....
分类:数据库   时间:2014-06-12 00:05:46    阅读次数:405
list集合、txt文件对比的工具类和文件读写工具类
工作上经常会遇到处理大数据的问题,下面两个工具类,是在处理大数据时编写的;推荐的是使用map的方式处理两个list数据,如果遇到list相当大数据这个方法就起到了作用,当时处理了两个十万级的list,使用改方法的变种搞定。 1.txt文件、list集合比较工具 package com.hudong.util.other; import java.util.Collection; import...
分类:其他好文   时间:2014-06-08 18:14:05    阅读次数:326
三层架构-----实践篇
我们看到三层架构的主要特点:UI调用BLL中类的方法,即UI知道BLL的方法,但不知道方法实现的细节,而BLL层并不知道UI的存在.同样BLL层调用DAL,而DAL也不知道BLL的存在。三者中任何一者发生变化都不会影响其他俩者的正常工作,只对变化者进行重新调整即可。三层把Entity实体类的实例作为参数来传递. 总之,表示层只提供软件系统与用户交互的接口;业务逻辑层是界面层和数据访问层之间的桥梁,负责数据处理和传递;数据访问层只负责数据的存取工作。...
分类:其他好文   时间:2014-06-07 16:29:14    阅读次数:279
我开发的“小灵”,自认为比微软“小冰”好多了
“小冰”倒了之后,一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线,以个人账号发布,登录qq添加qq群后,即可以与小灵进行交流。比如你问它“你是男的女的”,它会回答“小灵是腐女啦,你说小灵是男的还是女的!”,让你笑到爆! 小灵集合了中国网民近10年来积累的公开聊天记录,依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累,集合了近1...
分类:其他好文   时间:2014-06-07 15:19:51    阅读次数:307
简单的python协同过滤程序
博主是自然语言处理方向的,不是推荐系统领域的,这个程序完全是为了应付大数据分析与计算的课程作业所写的一个小程序,先上程序,一共55行。不在意细节的话,55行的程序已经表现出了协同过滤的特性了。就是对每一个用户找4个最接近的用户,然后进行推荐,在选择推荐的时候是直接做的在4个用户中选择该用户item没...
分类:编程语言   时间:2014-06-07 07:19:12    阅读次数:473
王家林的云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
一:课程简介:作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的、高效,的、可伸缩的,能够使用普通的社区服务器出来PB...
分类:其他好文   时间:2014-06-05 16:37:09    阅读次数:285
Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookeeper&Sqoop&Pig&Flume&Project) - 0515
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:其他好文   时间:2014-06-05 14:25:48    阅读次数:300
王家林的云计算分布式大数据Hadoop企业级开发动手实践
一:课程简介: Hadoop是云计算分布式大数据的事实标准软件框架,Hadoop中的架构实现是整个云计算产业技术的基础,作为与Google三大核心技术DFS、MapReduce、BigTable相对的HDFS、MapReduce、和HBase也是整个Hadoop生态系统的核心的技术,本课程致力于帮您...
分类:其他好文   时间:2014-06-05 14:17:33    阅读次数:273
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!