AI V3 Support Contact Us: Service Hotline: 400 680 9299 Our Add: 5th Floor, Block 4, Lianjian Industrial Park, Dalang Street, Longhua District, Shenzh ...
分类：
其他好文 时间：
2019-03-29 10:29:58
阅读次数：
136
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比較。原文发表于踏得网。Spark基于这种理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每一个节点存储（或缓存）它的数据集。然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoo ...
分类：
其他好文 时间：
2019-03-28 09:36:20
阅读次数：
149
reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。 具体过程，RDD有1 2 3 4 5 6 7 8 9 10个元素 ...
分类：
其他好文 时间：
2019-03-26 16:44:18
阅读次数：
222
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 Scala是一种混合功能编程语言,类似java，运行于JVM，集成面向对象编程和函数式编程 ...
分类：
其他好文 时间：
2019-03-16 12:24:48
阅读次数：
184
缓存里放的是一些平时不怎么变动的数据，当用户查询时，可以直接从缓存里查询。缓存集群的并发能力是很强的，而且读缓存的性能是很高的，缓存其实在系统架构里是非常重要的组成部分。很多时候，对于那些很少变化但是大量高并发读的数据，通过缓存集群来抗高并发读，是非常合适的。 但是在使用过程中，会出现热点缓存问题， ...
分类：
其他好文 时间：
2019-03-13 21:43:43
阅读次数：
238
机器学习资料 ### 1.聚类资料及代码：Python实现聚类算法(三)之总结:https://www.colabug.com/72166.htmlscikit-learn学习之K-means聚类算法与 Mini Batch K-Means算法:https://blog.csdn.net/gamer ...
分类：
其他好文 时间：
2019-03-12 23:53:04
阅读次数：
227
https://www.cnblogs.com/xxbbtt/p/8143593.html ...
分类：
其他好文 时间：
2019-03-12 09:22:02
阅读次数：
182
AbstractQueuedSynchronizer是JUC的核心框架，其设计非常精妙。使用了Java的模板方法模式。首先试图还原一下其使用场景:对于排他锁，在同一时刻，N个线程只有1个线程能获取到锁；其他没有获取到锁的线程被挂起放置在队列中，待获取锁的线程释放锁后，再唤醒队列中的线程。线程的挂起是获取锁失败时调用Unsafe.park()方法；线程的唤醒是由其他线程释放锁时调用Unsafe.un
分类：
编程语言 时间：
2019-03-10 19:09:59
阅读次数：
199
摘自：https://www.cnblogs.com/qingyunzong/p/8945933.html 一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与Cluste ...
分类：
其他好文 时间：
2019-03-03 16:05:39
阅读次数：
300
Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 ...
分类：
其他好文 时间：
2019-02-23 10:48:52
阅读次数：
205
