移山 是数据中心推出的异构数据源之间的数据迁移自动化平台，它旨在解决第三方ISV数据接入、实时数据（单向/双向）同步、大数据集群间的数据迁移等问题。 ...
分类：
其他好文 时间：
2018-08-27 22:31:09
阅读次数：
244
1.学习大数据集 图1.学习大数据集 当数据集量为m=1亿时，进行梯度下降将会花费较大时间。 可以使用小量数据集进行训练，然后得出学习曲线。 左图是高方差，右图是高偏差。 总之是要通过高效的学习算法来进行大数据学习。 2.随机梯度下降 图2.批梯度下降 假设是美国人口普查的数据，m=3亿，如果需要每 ...
分类：
其他好文 时间：
2018-08-20 13:10:57
阅读次数：
131
1 柱状图 二位数据图，只有一维需要比较 2 折线图 适合二维的大数据集，尤其是那些趋势比单个数据点更重要的场合 3 饼状图 尽量避免，肉眼对面积大小不敏感，适用于某部分占总比 4 散点图 适用于三维数据集，其中只有两维需要比较 5 气泡图 气泡图是散点图的一种变体，通过每个点的面积大小，反映第三维 ...
分类：
其他好文 时间：
2018-08-13 19:40:12
阅读次数：
123
1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRedu ...
分类：
其他好文 时间：
2018-08-12 14:16:13
阅读次数：
126
近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景下，是否能探索和挖掘数据价值，具备精细化数据运营的能力，就成为判定一个数据团队成... ...
分类：
编程语言 时间：
2018-08-03 14:39:52
阅读次数：
180
1.数据的存储方式（表属性的操作）1.1 建表前思考的问题a.表名b.表里包含的数据类型（CHAR(定长字符),VARCHAR(不定长字符),NUMBER(数值),DATE(日期和时间),BLOB(大数据集),直义字符串,自定义类型）c.构成主键的字段d.每个字段的长度e.哪些字段可以为NULL1.... ...
分类：
数据库 时间：
2018-07-26 20:00:00
阅读次数：
205
1. 为什么介绍此文？ Triplet net 改进工作之一，主要思想是在大数据集（人脸识别）上的困难样本挖掘。人脸识别工作对于图像对匹配而言很有借鉴意义，共性是特征的提取和样本数据的挖掘。 Tripnet net源于文章Deep metric learning using triplet netw ...
分类：
Web程序 时间：
2018-07-26 15:01:00
阅读次数：
188
Redis 的落地策略其实就是持久化(Persistence)，主要有以下2种策略： 1. RDB: 定时快照方式(snapshot) 2. AOF: 基于语句追加文件的方式 RDB RDB 文件非常紧凑，它保存了 Redis 某个时间点上的数据集。RDB 恢复大数据集时速度要比 AOF 快。但是 ...
分类：
其他好文 时间：
2018-07-24 22:49:32
阅读次数：
356
Aprior算法 优点：易编码实现 缺点：在大数据集上可能较慢 适用数据类型：数值型或者标称型数据。 关联分析是一种在大规模数据集中寻找有趣关系的任务，这些关系可以有两种形式：频繁项集或者这关联规则。 频繁项集是经常出现在一块的物品集合，关联规则暗示两种物品之间可能存在很强的关系。 一个项集的支持度 ...
分类：
编程语言 时间：
2018-07-23 21:59:14
阅读次数：
408
Hadoop的mapreduce是一个快速、高效、简单用于编写的并运行处理大数据程序并应用在大数据集群上的编程框架。它将复杂的、运行于大规模集群上的并行计算过程高度的抽象到两个函数：map、reduce。适用于MP来处理的数据集（或者任务），需要满足一个基本的要求：待处理的数据集可以分解成许多小的数 ...
分类：
其他好文 时间：
2018-07-17 23:14:20
阅读次数：
133
