1- 迭代方法 机器学习算法用于训练模型的迭代试错过程(迭代方法): 迭代策略在机器学习中的应用非常普遍，这主要是因为它们可以很好地扩展到大型数据集。 “模型”部分将一个或多个特征作为输入，然后返回一个预测作为输出。 “计算损失”部分是模型将要使用的损失函数，机器学习系统在“计算参数更新”部分检查损 ...
分类：
其他好文 时间：
2019-01-12 01:10:12
阅读次数：
264
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传 ...
分类：
数据库 时间：
2019-01-07 01:32:55
阅读次数：
176
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
分类：
其他好文 时间：
2018-12-30 12:51:29
阅读次数：
204
恢复内容开始 1.概念 关联分析：用于发现隐藏在大型数据集中的有意义的联系 项集：0或多个项的集合。例如:{啤酒，尿布，牛奶，花生} 是一个4-项集，意义想象成爸爸去超市买啤酒和花生，给儿子和老婆分别买尿布和牛奶。 关联规则：啤酒->花生，其强度可用支持度和置信度来度量 支持度：一个项集或者规则在所 ...
分类：
编程语言 时间：
2018-11-30 14:03:01
阅读次数：
234
1. 寻找数据集の奥义 根据CMU的说法，寻找一个好用的数据集需要注意一下几点： 数据集不混乱，否则要花费大量时间来清理数据。 数据集不应包含太多行或列，否则会难以使用。 数据越干净越好，清理大型数据集可能非常耗时。 应该预设一个有趣的问题，而这个问题又可以用数据来回答。 2. 去哪里找数据集 Ka ...
分类：
其他好文 时间：
2018-11-11 11:47:50
阅读次数：
174
介绍 Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDF ...
分类：
其他好文 时间：
2018-10-26 14:22:19
阅读次数：
89
python之pandas简单介绍及使用（一） 一、 Pandas简介1、Python Data Analysis Library 或 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工 ...
分类：
编程语言 时间：
2018-10-20 10:38:48
阅读次数：
179
Hive是一个依赖于分布式存储的查询和管理大型数据集的数据仓库。传统的非大数据行业一般都是基于表进行数据存储和管理的，如果由于业务扩张或者其他原因迁移到HDFS平台上，那么需要将传统的SQL查询语句全部翻译成Map-reduce的程序实现，这个工作量是相当庞大的。好在SQL具有严谨和良好的模板式语法 ...
分类：
其他好文 时间：
2018-10-18 11:42:23
阅读次数：
121
join连接 MapReduce能够执行大型数据集间的连接（join）操作。连接操作的具体实现技术取决于数据集的规模及分区方式连接操作如果由mapper执行，则称为“map端连接”；如果由reducer执行，则称为“reduce端连接”。 Map端连接 在两个大规模输入数据集之间的map端连接会在数 ...
分类：
其他好文 时间：
2018-09-22 19:52:06
阅读次数：
128
Numpy：数值计算扩展库，提供许多高级数值编程工具，如矩阵、矢量等 Pandas（Python Data Analysis Library）： 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。 ...
分类：
其他好文 时间：
2018-09-18 16:07:48
阅读次数：
151
