针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
话不多讲，也不知道咋讲！直接上代码 认证信息承载对象【user】 /// <summary> /// 认证用户信息 /// </summary> public class DyUser { /// <summary> /// 用户ID /// </summary> public int UserId ...
分类：
Web程序 时间：
2020-08-01 21:32:30
阅读次数：
138
过滤器(Filter) 所谓过滤器，其实就是一个服务端组件，用来截取用户端的请求与响应信息。 具体流程如下： 过滤器的应用场景： 1.对用户请求进行统一认证，保证不会出现用户账户安全性问题 2.编码转换，可在服务端的过滤器中设置统一的编码格式，避免出现乱码 3.对用户发送的数据进行过滤替换 4.转换 ...
分类：
其他好文 时间：
2020-07-31 19:15:53
阅读次数：
98
拦截器与过滤器的区别 过滤器 依赖于servlet，是servlet规范中的一部分，任何java web工程都可以使用 在url-pattern中配置/*之后，可以对所有要访问的资源进行拦截 一个过滤器实例只能在容器初始化时调用一次 拦截器 拦截器是AOP思想的具体应用 拦截器是Spring MVC ...
分类：
其他好文 时间：
2020-07-31 12:33:23
阅读次数：
80
一次机房停电引发的思考今天早上到公司的时候，接到开发反馈DEV环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为kafka集群不可用（总共3个broker，前一天晚上机房停电导致leader节点挂了），导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s，当时在想这个send方法不是异步的吗，为什么会阻塞60s？
分类：
其他好文 时间：
2020-07-31 01:13:59
阅读次数：
93
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
Cas客户端的调用流程主要有几个过滤器实现： casSingleSignOutFilter casValidationFilter casAuthenticationFilter casHttpServletRequestWrapperFilter casAssertionThreadLocalFi ...
分类：
其他好文 时间：
2020-07-30 01:13:31
阅读次数：
83
web.xml里面的主要配置都包括什么，都代表什么含义？ 1.web.xml的作用 2.web.xml的配置元素 3.<listener>监听器 4.filter过滤器 5.Servlet 6.web.xml的加载过程，元素的加载顺序 ...
分类：
Web程序 时间：
2020-07-29 15:21:56
阅读次数：
76
1.1 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通 过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 j ...
分类：
其他好文 时间：
2020-07-29 00:41:05
阅读次数：
74
概述 SmartPlant 3D中管嘴必须在通用数据表（GenericData）中定义后才能建模。如果输入的属性参数组合没有定义，会出现报错无法建模的情况。本文将指导设计人员从Catalog中查找所需管嘴的属性参数组合。 管嘴属性查询 进入Catalog模块。在SP3D菜单栏单击Tasks—Cata ...
分类：
编程语言 时间：
2020-07-28 22:27:42
阅读次数：
75
