2019-12-11 Spark的框架体系 三个核心组件：SparkCore SparkSQL SparkStreaming Spark有三种部署模式：Stanalone Yarn Messos Spark和MapReduce之间区别 ***** 1.Spark把运算中数据放到内存中，迭代计算效率会 ...
分类：
其他好文 时间：
2019-12-11 21:33:03
阅读次数：
153
为什么许多公司不招大龄码农，这个问题最近很欢娱，初看这个问题时扎心了，终有一天，咱们都会成为大龄码农，那么首要界说下大龄码农，一般以为是35岁以上。按现在推算是1983年（含1983）前身世的。有许多还在一线开发，有些现已是中高层处理人员了。我接触到的这类朋友较多，有伙伴，有朋友，也有一些读者。并不 ...
分类：
其他好文 时间：
2019-12-11 00:19:52
阅读次数：
78
aqs实现 基于以下技术栈： 1、自旋 2、park，unpark 3、cas 有什么特点： 1、如果是单个线程的话，或者线程交替执行，那么使用的jvm来实现的，并没有动用到os层 加锁过程： 1、判断当前状态，如果锁现在的状态为0（自由状态），公平锁可能需要判断是否需要排队（hasQueuePro ...
分类：
其他好文 时间：
2019-12-06 19:15:37
阅读次数：
87
aqs实现 基于以下技术栈： 1、自旋 2、park，unpark 3、cas 有什么特点： 1、如果是单个线程的话，或者线程交替执行，那么使用的jvm来实现的，并没有动用到os层 加锁过程： 1、判断当前状态，如果锁现在的状态为0（自由状态），公平锁可能需要判断是否需要排队（hasQueuePro ...
分类：
其他好文 时间：
2019-12-06 19:02:27
阅读次数：
100
好用的python模块 可自动导入模块的pyforest 安装模块后，可以直接按配置文件中设置的需要调用的模块名称使用模块 设置 编辑 默认配置在 中 使用 jupyter 可以自动导入，其他环境需要手动导入 查看已自动导入的模块 ...
分类：
编程语言 时间：
2019-12-06 17:39:16
阅读次数：
121
原理图解： Master类位置所在：spark-core_2.11-2.1.0.jar的org.apache.spark.deploy.master下的Master类 //截取了部分代码 //处理Application注册的请求 case RegisterApplication(descriptio ...
分类：
移动开发 时间：
2019-12-01 22:32:21
阅读次数：
139
先抛出几个问题 1. 存储是不是基石？ 2. 假如存储不挂，数据真的准确吗？ 3. 存储挂了，数据还准确吗？ 4. 如何校验是否正确？如何让其正确？机制是不是必须有？ 注：sqoop抽数据，无error丢数据的概率很小 数据质量校验：数据量校验 count相同吗？count相同内容相同吗？ 数据量相 ...
分类：
其他好文 时间：
2019-11-30 09:43:00
阅读次数：
82
什么事sparkSQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用, 它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快 1）易整合 2）统一的数据访问方式 3）兼容Hive 4）标准 ...
分类：
数据库 时间：
2019-11-20 21:54:37
阅读次数：
91
tcpsocket文件句柄泄漏今天发现有台redis机器上出现socket个数告警，这是很奇怪的现象。因为一台redis服务器上就部署了几个redis实例，打开的端口应该是有限。1、netstat显示的tcp连接数正常netstat-n|awk‘/^tcp/{++state[$NF]}END{for(keyinstate)printkey,"\t",state[key]}‘`TIME_WAIT22
分类：
其他好文 时间：
2019-11-18 22:10:15
阅读次数：
93
初始化Centos7vi /etc/sysconfig/network-scripts/ifcfg-ens33DEVICE=ens33TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.3.131GATEWAY ...
分类：
其他好文 时间：
2019-11-18 12:52:33
阅读次数：
64
