数据去重主要是为了利用并行化的思想对数据进行有意义的筛选。 统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 示例文件内容： 此处应有示例文件 设计思路 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。 自然就想到将同一数据的所... ...
分类：
其他好文 时间：
2016-05-18 23:28:11
阅读次数：
115
《最佳的MongoDB客户端管理工具》作者：chszs，未经博主允许不得转载。经许可的转载需注明作者和博客主页：http://blog.csdn.net/chszs一个好的MongoDB客户端管理工具，可以大大提高MongoDB应用的开发效率。MongoDB自带的Shell是一个很好的工具，但是它在操纵大数据集时就没那么直观了。因此使用MongoDB客户端GUI管理工具就非常必要了，下面推荐四个主要...
分类：
数据库 时间：
2016-05-12 22:45:58
阅读次数：
264
该篇陈述了在采用imagenet大数据集合上使用caffenet预训练得到caffemodel，然后应用该caffemodel进一步fintuning图像风格数据库style。下面为主要步骤：#采用别人的预训练模型，在自己的数据库上进行微调（fine-tunning）
#fine-tune是应用别人在大数据集合上训练到一定程度的caffemodel，在这进行微调。这比随机化参数要好，因为该模型可能已...
分类：
Web程序 时间：
2016-05-12 18:47:03
阅读次数：
385
原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及 ...
分类：
其他好文 时间：
2016-04-22 16:31:48
阅读次数：
228
集群中时间不同步有可能会让大数据的应用程序运行混乱，造成不可预知的问题，比如Hbase，当时间差别过大时就会挂掉，所以在大数据集群中，ntp服务，应该作为一种基础的服务，以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包： rpm -q ntp 我这里是只是基 ...
分类：
系统相关 时间：
2016-04-14 13:58:53
阅读次数：
328
翻译水平有限，欢迎阅读原文一、深度学习当前，深度学习已经成为一个热门话题。随着深度学习算法和GPU技术的发展，我们已经能够解决许多领域（计算机视觉、自然语言处理和机器人学）曾经认为不可能的事情。深度学习是建立在传统的深度神经网络之上的。最近几年的热点是大数据集和强大的GPUs的使用。神经网络本质上是一种并行算法，因此多核GPUs的使用能够明显的减少用于训练深度神经网络的时间。以下，我将会讨论如何使用...
分类：
其他好文 时间：
2016-04-10 15:05:22
阅读次数：
625
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。
分类：
其他好文 时间：
2016-03-03 13:06:03
阅读次数：
156
Nginx 服务器 高性能 web 视频教程 大数据 集群 NoSQL 配置 安装 Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP
分类：
数据库 时间：
2016-02-28 18:20:20
阅读次数：
203
Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使H
分类：
编程语言 时间：
2016-02-25 11:40:31
阅读次数：
345
大数据是指为决策问题提供服务的大数据集、大数据技术和大数据应用的总称。 其中大数据集是指一个决策问题所用到的所有可能的数据，通常数据量大、来源多、类型多样、有价值(4V特性) 大数据技术是指大数据资源获取、存储管理、挖掘分析、可视展现(可视化、报表、监控)等技术 大数据应用是指用大数据集和大数据技术
分类：
其他好文 时间：
2016-02-15 22:40:38
阅读次数：
259
