在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
中国的这些年喜欢搞概念，什么云计算大数据啊，国家支持，专家鼓吹，各大会议论坛精彩纷呈，热闹过后发现还是默默地在用国外的技术和平台，就如同PC操作系统没有我们的份，手机操作系统也没有我们的份，虽然我们是世界上电脑和手机拥有量最多并且人们最喜欢玩手机的国家，感觉我们的学术专家和行业大佬们就只会扯蛋，扯多了会痛，痛定思痛，痛何如哉！吃饱喝足后还是继续扯蛋。相当可悲，若大个中国，真正心平静气地去做研究和开...
分类：
移动开发 时间：
2014-06-20 11:37:26
阅读次数：
322
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
工作上经常会遇到处理大数据的问题，下面两个工具类，是在处理大数据时编写的；推荐的是使用map的方式处理两个list数据，如果遇到list相当大数据这个方法就起到了作用，当时处理了两个十万级的list，使用改方法的变种搞定。
1.txt文件、list集合比较工具
package com.hudong.util.other;
import java.util.Collection;
import...
分类：
其他好文 时间：
2014-06-08 18:14:05
阅读次数：
326
在系统日常生产过程中，如何从Oracle数据库同步一些配置表到GP库个问题。
先来说说之前使用的方式：
0. 使用第3方工具从Oracle导出纯文本格式，存放在本地；
1. 使用GP外部表加载入库
这种方式优点是对于需要同步大数据量的表的时候性能非常高；缺点是稍显麻烦，最主要的是非实时的，存在着任务调度周期和导出导入时间周期。
对此我的解决办法是简化整个过程并实时查询：
0. ...
分类：
数据库 时间：
2014-06-08 05:46:35
阅读次数：
251
对Microsoft Azure的CloudTable进行操作，有很多种操作失败的可能，比如网络连接异常，比如短时间内发送的请求数太多。很多时候我们在失败之后过一段时间再重试，就能操作成功。但是有些失败不是简单重试就解决的。本文讲述的在修改操作时候发生的Precondition Failed错误就是一个例子。...
分类：
其他好文 时间：
2014-06-08 04:54:48
阅读次数：
305
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
博主是自然语言处理方向的，不是推荐系统领域的，这个程序完全是为了应付大数据分析与计算的课程作业所写的一个小程序，先上程序，一共55行。不在意细节的话，55行的程序已经表现出了协同过滤的特性了。就是对每一个用户找4个最接近的用户，然后进行推荐，在选择推荐的时候是直接做的在4个用户中选择该用户item没...
分类：
编程语言 时间：
2014-06-07 07:19:12
阅读次数：
473
公有云与私有云的差别发现每一个公司对私有云、公有云的定义都不一样，能够从公有云与私有云的差别上理解这个概念。下面转载网络上一个比較浅显的解释：差别1：从云的建设地点划分，公有云——互联网上公布的云计算服务；私有云——企业内部（专网）公布的云服务。差别2：从云服务的协议开发程度划分，公有云——协议开放...
分类：
其他好文 时间：
2014-06-07 07:02:21
阅读次数：
247
课程简介：
作为Web与移动开发的新标准的HTML5/JavaScript/CSS3，已经纷纷被手机应该开发采用，这不但让UI极具弹性，而且也更容易与云计算整合。本课程是云计算与智能终端时代的HTML5开发的一站式解决方案，专为企业内训和公开课制作，是完整覆盖HTML5时代开发人员所需使用的360度...
分类：
Web程序 时间：
2014-06-05 14:13:04
阅读次数：
369
