关于概念的东西，其实官网说的很全，对于个人理解就是，flink、spark等等大数据处理平台就是把原来需要我们自己实现的功能，全部框架封装好，像是跨机器的大规模计算、内存/cpu等等资源管理、状态管理(锁还有恢复机制等等）框架全部封装好了，作为开发来说就只需要关心自己要实现的业务就可以了以下内容来自官网，从3个方面介绍Flink：架构ApacheFlink是一个框架和分布式处理引擎，用于在无边界和
分类：
其他好文 时间：
2020-11-06 02:27:17
阅读次数：
21
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
WCF 1.WCF介绍 WCF介绍 WCF是微软分布式应用程序开发的集大成者，它整合了.Net平台下所有的和分布式系统有关的技术，例如.Net Remoting、ASMX、WSE和MSMQ。以通信(Communiation)范围而论，它可以跨进程、跨机器、跨子网、企业网乃至于Internet。 WC ...
分类：
其他好文 时间：
2020-07-03 19:52:57
阅读次数：
94
一个小伙伴最近参加某一线互联网公司的面试，被问到了一些并发相关的问题，看看大家能否答出来： （1）synchronized的CPU原语级别是如何实现的？ （2）无锁、偏向锁、轻量级锁、重量级锁有什么差别，升级过程如何？ （3）线程间通信，同机器进程间通信，跨机器进程间通信，各有什么方法？ （4）下列 ...
分类：
其他好文 时间：
2020-05-11 20:32:35
阅读次数：
164
聊聊select, poll 和 epoll 假设项目上需要实现一个TCP的客户端和服务器从而进行跨机器的数据收发，我们很可能翻阅一些资料，然后写出如下的代码。 服务端 void func(int sockfd) { char buff[MAX]; int n; // infinite loop f ...
分类：
其他好文 时间：
2020-05-03 20:08:14
阅读次数：
52
（1）synchronized的CPU原语级别是如何实现的？ （2）无锁、偏向锁、轻量级锁、重量级锁有什么差别，升级过程如何？ （3）线程间通信，同机器进程间通信，跨机器进程间通信，各有什么方法？ （4）下列三种业务，应该如何使用线程池： 高并发、任务执行时间短的业务 并发不高、任务执行时间长的业务 ...
分类：
编程语言 时间：
2020-05-02 11:56:07
阅读次数：
144
GeoSpark是一种用于大规模空间数据处理的集群计算。 GeoSpark通过一组out of the box空间弹性分布式数据集( SRDDs ) 扩展 Apache Spark，它可以跨机器高效地加载。处理、分析、展示大规模空间数据。 准备工作 1. Windows 和 spark 2. IDE ...
分类：
其他好文 时间：
2019-12-16 13:28:59
阅读次数：
440
2.1 存储模式 2.1.1 图存储模式 巨型图的存储总体上有边分割和点分割两种存储方式 1）边分割(Edge-Cut)：每个顶点都存储一次，但有的边会被打断分到两台机器上。这样做的好处是节省存储空间；坏处是对图进行基于边的计算时，对于一条两个顶点被分到不同机器上的边来说，要跨机器通信传输数据，内网 ...
分类：
其他好文 时间：
2019-12-16 09:48:57
阅读次数：
115
前言 话说EventBroker这玩意已经不是什么新鲜货了，记得第一次接触这玩意是在进第二家公司的时候，公司产品基础架构层中集成了分布式消息中间件，在.net基础服务层中使用EventBroker的模式将消息组装成事件，支持同域、跨域和跨机器进行事件的发布和订阅，后来才知道这玩意叫做EventBro ...
分类：
其他好文 时间：
2019-12-08 01:28:37
阅读次数：
98
在用一些跨机器跨平台软件的时候，一旦换了电脑或者手机，我经常出现蒙的状态，不知道怎么同步或者使用了，在这里总结一下。 一、icloud账号 当我们买iphone或者macbook的时候，一开机它会让你先注册个appleID，或者用之前已有的appleID来作为唯一标识码。会让你填三项： 姓名 英文的 ...
分类：
其他好文 时间：
2019-11-09 17:44:10
阅读次数：
115
