1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题 3、主要表现 任务 ...
分类：
其他好文 时间：
2018-04-15 16:25:44
阅读次数：
198
traits学习 越来越多的框架和代码开始使用traits方式去组织一些功能，这是非常高效的代码组织结构。 通过trait来减少不必要的类继承关系，让代码更加复用，形成可以拔插的代码集合。 通过逗号分隔，在 use 声明列出多个 trait，可以都插入到一个类中。 单个的例子: <?php trai ...
分类：
Web程序 时间：
2018-04-13 13:19:46
阅读次数：
264
将可变信息放在properties文件是使配置更加灵活。 1.文档位置和加载顺序 1. StdSchedulerFactory默认加载quartz包下的quartz.properties文件，如果我们在项目下面新建一个quartz.properties文件，会优先加载我们的配置文件。 quartz包 ...
分类：
其他好文 时间：
2018-04-05 14:35:07
阅读次数：
246
spark streaming是建立在spark core之上的，也就说spark streaming任务最终执行还是依赖于RDD模型。在转化成最终的RDD模型执行前，spark streaming主要需要处理以下几个问题： a，每个batch的RDD是怎么根据用户的代码生成的（对应JobGener ...
分类：
其他好文 时间：
2018-03-29 20:08:45
阅读次数：
162
[TOC] 简单实例 1. 配置驱动 假如使用database这个队列驱动，首先要创建数据表进行记录 然后更改驱动配置，可以修改.env 中的配置 2. 创建任务类 以上命令生成app/Jobs/InsertData.php，然后修改该文件的handle方法 3. 分发任务 1.3 队列驱动的必要配 ...
分类：
其他好文 时间：
2018-03-27 18:50:05
阅读次数：
133
工作管理涉及的概念前台(foreground)：出现提示符可以操作系统的环境后台(backgroud)：放入后台去暂停或运行后台中的工作状态又分为2种：暂停状态：使用ctrl+z运行状态：直接将命令丢到后台中运行，使用COMMOND&符号如图：其中[数字]中括号内的数字是工作号码，+号代表最近丢进来的工作。jobs-l列出工作号码和PID，如图涉及的命令有fg：将后台工作拿到前台工作[%j
分类：
系统相关 时间：
2018-03-27 18:45:26
阅读次数：
199
（1）MSSQL代理中的作业是保存在MSDB数据库中的，可以通过如下SQL语句查询作业列表select*frommsdb.dbo.sysjobs（2）MSSQL代理作业历史记录也是保存再MSDB数据库中的，可以通过如下SQL语句查询作业历史记录列表select*frommsdb.dbo.sysjobshistory（3）作业时刻表可以通过如下SQL语句查询select*frommsdb.dbo.s
分类：
数据库 时间：
2018-03-22 12:40:53
阅读次数：
264
对于linux进程的一些查看管理类命令；比如：ps, pstree, grep\pkill, pidof, top
分类：
系统相关 时间：
2018-03-20 18:50:10
阅读次数：
231
Short Description: ORC Creation Best Practices with examples and references. Short Description: Article Synopsis. ORC is a columnar storage format for ...
分类：
其他好文 时间：
2018-03-19 14:18:54
阅读次数：
228
系统总线CPU内存的总线服务后台服务交互式程序保护模式特权模式0---》1---》2---》3处于保护模式的区域BIOS映射程序---》载入操作系统shellinterfaceGUI：图像用户界面CLI：命令行界面内核功能：进程管理内存管理文件系统网络功能硬件驱动安全机制批处理系统jobs$$$$jobsGEBellMIT多任务多用户MainFrame汇编语言MulticsDOSGNUlinux:
分类：
系统相关 时间：
2018-03-18 20:39:27
阅读次数：
245
