原文链接：https://wongxingjun.github.io/2016/05/11/Spark-Job%E8%B0%83%E4%BC%98-Part-1/ Spark应用的执行效率是所有程序员需要关心的问题，单纯从代码层面去了解和优化明显是不够的，本文介绍Spark的底层执行模式，并给出了一 ...
分类：
其他好文 时间：
2017-07-03 22:43:06
阅读次数：
290
https://mp.weixin.qq.com/s/IWR_wIh2D-RmPuslR_JnXg 微服务架构探讨及甲骨文中间件微服务技术解决方案 2017-04-12 胡平 甲骨文开发者社区 随着传统企业受到互联网+的冲击，越来越多的企业都在面临业务转型，如何更好地贴近客户以获取更高的客户满意度， ...
分类：
其他好文 时间：
2017-06-30 17:20:55
阅读次数：
248
Sql Server2005数据库自带一个排序函数ROW_NUMBER()，列表为： 语法：row_number() ： over（子句）1.使用row_number（）函数进行编号： 原理：先按Sage进行排序，排序完后，给每条数据进行编号。注：在使用over等开窗函数时，over里头的分组及排序 ...
分类：
数据库 时间：
2017-06-26 19:05:33
阅读次数：
234
分区表 主要提供例如以下的特性，或者适合如此场景： 数据量非常大， 或者仅仅有表中最后的部分有热点数据。其它均为历史数据 分区表数据更easy维护，能够对独立的分区删除等操作 分区表的数据能够分布在不同的物理设备上。从而高效地利用多个硬件设备。 能够避免一些特殊瓶颈。比方InnoDB的单个索引的相互 ...
分类：
数据库 时间：
2017-06-14 22:26:11
阅读次数：
245
在WEB网站的规模从小到大不断扩展的过程中，数据库的访问压力也不断的增加，数据库的架构也需要动态扩展，在数据库的扩展过程基本上包含如下几步，每一个扩展都可以比上一步骤的部署方式的性能得到数量级的提升。 1、WEB应用和数据库部署在同一台服务器上 一般的小规模的网站采用这种方式，用户量、数据量、并发访 ...
分类：
数据库 时间：
2017-06-08 16:33:59
阅读次数：
189
近期对公司产品的日志数据库做了一个数据分区,数据库使用的是sql server 2008,这里给大家提供一个參考。须要特别说明的是，非常多网上的样例分区字段都使用的是时间类型的。而这里因为时间字段原来设计数据库使用的是字符串类型的。所以这里的分区字段使用的是字符串类型的。进过我的測试。也能成功。1： ...
分类：
数据库 时间：
2017-05-29 09:51:52
阅读次数：
226
建立完分区表后一定要和开发确认一点，就是是否会修改分区字段。因为update分区字段到其他分区时候，会报错。解决办法：开启表的行转移功能 这样在update以后，会在老分区删除数据，新分区插入数据。 ...
分类：
其他好文 时间：
2017-03-31 18:48:23
阅读次数：
159
使用ApacheFlume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？一、什么是ApacheFlumeApacheFlume是用于数据采集的高性能系统，名字来源于原始的近乎实时的日志数据采集工具，现在广泛用于任何流事件数据的采集，支持从很多数据源聚合数..
分类：
Web程序 时间：
2017-01-18 14:18:34
阅读次数：
250
数据分区分为两种，动态分区和静态分区，那么两种分区是怎样创建的呢？它们各自怎么来使用呢？一、动态分区1、从已有的数据动态创建新的分区2、分区基于最后一个列值自动创建，如果分区不存在，它将被创建；如果分区存在，将被覆盖。二、静态分区1、静态分区示例：按天分区呼叫..
分类：
其他好文 时间：
2017-01-13 16:20:19
阅读次数：
258
进行数据分区将会极大的提高数据查询的效率，尤其是对于当下大数据的运用，是一门不可或缺的知识。那么数据怎么创建分区呢？数据怎样加载到分区呢？Impala/Hive按State分区Accounts（1）示例：accounts是非分区表通过以上方式创建的话，数据就存放在accounts目录里面。那么，如..
分类：
其他好文 时间：
2017-01-12 16:28:22
阅读次数：
219
