一、Stream并行计算体验，利用多核加快计算速度 stream的并发，多个cpu执行同一个任务，提高效率； 需求：从1+...+10000000，看下各种计算方法的运行时间是多少 代码例子如下： console： 结论：不一定是所有的方法产生的Stream都适合于并行的方式去做的，一定要注意有些方 ...
分类：
其他好文 时间：
2019-09-22 21:30:05
阅读次数：
118
AQS的几个同步组件 CountDownLatch 一个线程或多个线程一直等待，直到其他线程执行的操作完成才继续执行。 应用：并行计算。 计数器是不能重计的，计数值不能往上加，类似操作只有一次。 使用时首先new一个countDownLatch，构造方法中放入计数，然后在一个线程中调用await方法 ...
分类：
其他好文 时间：
2019-09-19 10:40:00
阅读次数：
89
PyCUDA 可以通过 Python 访问 Navidia 的 CUDA 并行计算 API。 具体介绍和安装可以参考 PyCUDA 官网文档和 pycuda PyPI。 本文涵盖的内容有： 本文示例在 GPU 环境下，使用 Jupyter Notebook 导入了以下包： 输出： 查询 GPU 信息 ...
分类：
其他好文 时间：
2019-09-13 22:08:33
阅读次数：
450
软件工程 软件=程序+软件工程 软件架构 软件设计与实现 源代码管理 配置管理 软件测试 需求分析 程序理解 软件维护 服务运营 软件的生命周期 软件项目的管理 软件设计 软件构件 软件测试 软件维护 计算理论 信息和编码理论 算法和数据结构 形式化算法 程序设计语言 计算机体系结构 并行计算和分布 ...
分类：
其他好文 时间：
2019-09-11 16:14:53
阅读次数：
75
1.1. Spark部署模式 Spark支持多种集群管理器（Cluster Manager），主要为： Master URL Meaning local 在本地运行，只有一个工作进程，无并行计算能力。 local[K] 在本地运行，有K个工作进程，通常设置K为机器的CPU核心数量。 local[*] ...
分类：
其他好文 时间：
2019-09-11 09:35:22
阅读次数：
157
接口中的默认方法，接口终于可以有方法实现了，使用注解即可标识出默认方法。lambda表达式实现了函数式编程，通过注解可以声明一个函数式接口，该接口中只能有一个方法，这个方法正是使用lambda表达式时会调用到的接口。Option类实现了非空检验新的日期API各种api的更新，包括chm，hashmap的实现等Stream流概念，实现了集合类的流式访问，可以基于此使用map和reduce并行计算。参
分类：
编程语言 时间：
2019-09-10 00:22:25
阅读次数：
94
数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。应用的技术包括：数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面。 数据挖掘与传统的数据分析（如查询 ...
分类：
其他好文 时间：
2019-09-07 00:59:37
阅读次数：
105
spark建立在抽象的RDD上，把不同处理的数据的需求转化为RDD，然后对RDD进行一系列的算子运算，从而得到结果。RDD是一个容错的，并行的数据结构，可以将数据存储到磁盘和内存中，并能控制数据分区，并提供了丰富的API来操作数据。1：RDD的定义及五大特性剖析RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD时只读的记录分区的集合，能跨集群所有节点并行计算，是一种基于工作集
分类：
其他好文 时间：
2019-09-06 14:32:16
阅读次数：
103
在使用GPU版的TensorFlow跑程序的时候，如果不特殊写代码注明，程序默认是占用所有主机上的GPU，但计算过程中只会用其中一块。也就是你看着所有GPU都被占用了，以为是在GPU并行计算，但实际上只有其中一块在运行；另外的所有显卡都闲着，但其显存都被占用了，所以别人也用不了。不过这种情况通过在程 ...
分类：
其他好文 时间：
2019-09-02 13:30:24
阅读次数：
69
在传统的计算模式中，互联网厂商主要通过本地的网络资源来支撑服务器的运行。对于一些比较大型的互联网公司，则会构建自身的数据中心，将物理设备与本地设施区分开来，通过远程调用和远程部署来支撑服务器的运行。伴随着并行计算和分布式计算的发展，由少数网络服务提供商来构建相应的物理设施和软件设施，来未处在不同位置 ...
分类：
其他好文 时间：
2019-09-01 18:25:24
阅读次数：
97
