上一节介绍了线性回归，虽然线性回归能够满足大部分的数据分析的要求，但是，线性回归并不是对所有的问题都适用，
因为有时候自变量和因变量是通过一个已知或未知的非线性函数关系相联系的，如果通过函数转换，将关系转换成线性关系，可能会造成数据失真或更为复杂的计算，导致结果出现偏差回归分析中，变量转换的方法，如...
分类：
其他好文 时间：
2014-05-12 11:55:14
阅读次数：
334
数据分析真不是一门省油的灯，搞的人晕头转向，而且涉及到很多复杂的计算，还是书读少了，小学毕业的我，真是死了不少脑细胞，学习二元Logistic回归有一段时间了，今天跟大家分享一下学习心得，希望多指教！
二元Logistic，从字面上其实就可以理解大概是什么意思，Logistic中文意思为“逻辑”但是...
分类：
其他好文 时间：
2014-05-12 11:53:12
阅读次数：
564
1 Lambda架构介绍
Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类：
其他好文 时间：
2014-05-11 07:29:44
阅读次数：
419
作者余凯，百度技术副总监，千人计划国家特聘专家。贾磊，百度主任架构师，语音技术负责人。陈雨强，百度商务搜索部资深研发工程师，负责搜索广告 CTR 预估
摘要：深度学习带来了机器学习的新浪潮，推动“大数据＋深度模型”时代的来临，以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度...
分类：
其他好文 时间：
2014-05-11 07:27:45
阅读次数：
389
--测试表CREATE TABLE [dbo].[Employee] ( [EmployeeNo]
INT PRIMARY KEY, [EmployeeName] [nvarchar](50) NULL, [CreateUser] [nvarchar](50)
NULL, [...
分类：
数据库 时间：
2014-05-10 19:23:09
阅读次数：
451
技术能力到业务价值的转化，是当今大数据传统行业实践面临的首要问题，经过这些年的发展大数据平台本身已经相对成熟，已经基本具备生产应用的可能。从实际项目的实践情况来看，成熟的也仅限平台框架本身，应用支撑实施工具层面的匮乏，使得大数据技术的企业应用很难做到如传统SQL技术一样的工程化，易用化。目前大部分厂...
分类：
其他好文 时间：
2014-05-10 18:07:06
阅读次数：
398
Rs2008
在内存管理方面已经有了很大的改变。主要增加了文件缓存，允许把内存数据卸载到文件缓存中。而Rs2005
都是把数据放到内存中。对于大数据量的报表而言，很容易出现OutOfMemory 错误。在实际应用中，发现Rs2008 也经常出现 OutOfMemory
错误。主要有以下几个原因：1 ...
分类：
其他好文 时间：
2014-05-10 08:14:31
阅读次数：
317
IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider，此接口在前一篇文章中已经提到过了。///
/// 提供数据批量处理的方法。 /// public interface IBatcherProvider : IProviderService...
分类：
数据库 时间：
2014-05-10 06:28:39
阅读次数：
518
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
大数据是2012的时髦词汇，正受到越来越多人的关注和谈论。大数据之所以受到人们的关注和谈论，是因为隐藏在大数据后面超千亿美元的市场机会。
大数据时代，数据挖掘是最关键的工作。以下内容供个人学习用，感兴趣的朋友可以看一下。
智库百科是这样描述数据挖掘的“数据挖掘又称数据库中的知识发现，是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并...
分类：
其他好文 时间：
2014-05-09 22:46:58
阅读次数：
338
