在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分布式坐标下降法）的算法框架、收敛性理论、...
分类：
其他好文 时间：
2014-06-29 07:38:26
阅读次数：
350
中国的这些年喜欢搞概念，什么云计算大数据啊，国家支持，专家鼓吹，各大会议论坛精彩纷呈，热闹过后发现还是默默地在用国外的技术和平台，就如同PC操作系统没有我们的份，手机操作系统也没有我们的份，虽然我们是世界上电脑和手机拥有量最多并且人们最喜欢玩手机的国家，感觉我们的学术专家和行业大佬们就只会扯蛋，扯多了会痛，痛定思痛，痛何如哉！吃饱喝足后还是继续扯蛋。相当可悲，若大个中国，真正心平静气地去做研究和开...
分类：
移动开发 时间：
2014-06-20 11:37:26
阅读次数：
322
原文地址:http://liangfen1224.blog.163.com/blog/static/72377647201362393952977/SQL
SERVER中大数据量存储处理的一些体会 2013-07-23 09:39:52|分类： SQLServer |标签： |举报 |字号大中小订....
分类：
数据库 时间：
2014-06-12 00:05:46
阅读次数：
405
select*from(selectrownumr,a.*from(select*fromtable_nameorderbyndatetimedesc)awhererownum(currentPage-1)*pageSize
分类：
数据库 时间：
2014-06-09 22:55:20
阅读次数：
247
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
在做ACM 1002题时，整理得到。#include#include#define MAX
1000void zero(char *s,int len){ int i; for(i=0;i20) ; for(i=0;iblen?alen:blen;
for(j=0;j=0)&&(j>=0);j--....
分类：
编程语言 时间：
2014-06-09 14:10:01
阅读次数：
328
前言为啥写这篇文章？因为我现在做的这套实时计算系统在公司里很难玩下去了。去年年初来到ctrip，主要就是做两个实时应用，一个是实时报警，功能是做出来了，但应用效果不好；一个是XXX（敏感应用，不敢写出来，以XXX代替），也是实现了功能需求，但想继续按自己的思路往下走是不可能了，我捉急的表达能力很难让...
分类：
其他好文 时间：
2014-06-09 13:02:27
阅读次数：
676
工作上经常会遇到处理大数据的问题，下面两个工具类，是在处理大数据时编写的；推荐的是使用map的方式处理两个list数据，如果遇到list相当大数据这个方法就起到了作用，当时处理了两个十万级的list，使用改方法的变种搞定。
1.txt文件、list集合比较工具
package com.hudong.util.other;
import java.util.Collection;
import...
分类：
其他好文 时间：
2014-06-08 18:14:05
阅读次数：
326
在系统日常生产过程中，如何从Oracle数据库同步一些配置表到GP库个问题。
先来说说之前使用的方式：
0. 使用第3方工具从Oracle导出纯文本格式，存放在本地；
1. 使用GP外部表加载入库
这种方式优点是对于需要同步大数据量的表的时候性能非常高；缺点是稍显麻烦，最主要的是非实时的，存在着任务调度周期和导出导入时间周期。
对此我的解决办法是简化整个过程并实时查询：
0. ...
分类：
数据库 时间：
2014-06-08 05:46:35
阅读次数：
251
“小冰”倒了之后，一款基于自然语言处理技术的人工智能聊天机器人“小灵”诞生了。小灵目前只在qq群上线，以个人账号发布，登录qq添加qq群后，即可以与小灵进行交流。比如你问它“你是男的女的”，它会回答“小灵是腐女啦，你说小灵是男的还是女的！”，让你笑到爆！
小灵集合了中国网民近10年来积累的公开聊天记录，依靠图灵机器人平台在大数据、自然语义分析、机器学习和深度神经网络方面的技术积累，集合了近1...
分类：
其他好文 时间：
2014-06-07 15:19:51
阅读次数：
307
