十七、大规模机器学习(Large Scale Machine Learning) 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 小批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 十八、应用实例：图片文字识别(Application Exa ...
分类：
其他好文 时间：
2018-01-17 00:54:52
阅读次数：
309
1.使用说明 Java 的 Steam API 是java标准库最好的改进之一，让开发者能够快速运算，从而能够有效的利用数据并行计算。Java 8 提供的 Steam 能够利用多核架构实现声明式的数据处理。 在 Java 9 中，Stream API 变得更好，Stream 接口中添加了 4 个新的 ...
分类：
编程语言 时间：
2018-01-13 11:04:58
阅读次数：
160
内容简介 《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。 作为一个基于内存计算的大数据并行计算框架，Spark不仅很好地解决了数据的实时处理问题，而且保证了高容错性... ...
分类：
其他好文 时间：
2017-12-03 12:59:28
阅读次数：
267
一、使用并行计算加倍提升性能1、数据并行 VS 任务并行实现数据并行的算法scoket 并行性注意并行计算时间并不与执行任务的计算资源数目成正比(计算机核心)，amdahl定律：并行代码的速度受限于串行执行的部分，包括并行性带来的开销在非windows系统中，parallel支持分叉集群(交叉法)， ...
分类：
编程语言 时间：
2017-11-18 21:07:17
阅读次数：
172
前言 Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive一 ...
分类：
其他好文 时间：
2017-11-05 15:08:00
阅读次数：
161
一、关于Pig：别以为猪不能干活 1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编 ...
分类：
其他好文 时间：
2017-11-03 13:00:23
阅读次数：
163
Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。简单来说Spark是 内存迭代计 ...
分类：
其他好文 时间：
2017-10-29 15:17:07
阅读次数：
179
目前业界有很多MQ产品，我们作如下对比： RabbitMQ 是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在 ...
分类：
其他好文 时间：
2017-09-22 10:04:02
阅读次数：
109
你还没听过FPGA？那你一定是好久没有更新自己在IT领域的知识了。 FPGA全称现场可编程门阵列（Field－Programmable Gate Array），最初作为专用集成电路领域中的一种半定制电路而出现的，具有一定的可编程性，可同时进行数据并行和任务并行计算，在处理特定应用时有更加明显的效率。 ...
分类：
其他好文 时间：
2017-09-11 15:12:43
阅读次数：
251
TensorFlow并行，模型并行，数据并行。模型并行根据不同模型设计不同并行方式，模型不同计算节点放在不同硬伯上资源运算。数据并行，比较通用简便实现大规模并行方式，同时使用多个硬件资源计算不同batch数据梯度，汇总梯度全局参数更新。 数据并行，多块GPU同时训练多个batch数据，运行在每块GP ...
分类：
其他好文 时间：
2017-08-12 11:52:21
阅读次数：
1055
