1. 跑批是什么 顾名思义，就是应用程序对数据的批量处理。 跑批有以下特性： 大数据量：批量任务一般伴随着大量的数据处理； 自动化：要求制定时间或频率自动运行； 性能：要求在指定时间内完成批处理任务。 2. 跑批应用场景 在开发中常见的跑批应用场景如下（以目前做的系统举例）： 定时的数据状态更新：到 ...
分类：
其他好文 时间：
2020-03-21 18:04:11
阅读次数：
675
Ticker是周期性定时器，即周期性的触发一个事件，通过Ticker本身提供的管道将事件传递出去。 定时聚合任务 有时，我们希望把一些任务打包进行批量处理。比如，公交车发车场景： 公交车每隔5分钟发一班，不管是否已坐满乘客； 已坐满乘客情况下，不足5分钟也发车； 下面代码演示公交车发车场景： // ...
分类：
其他好文 时间：
2020-03-12 20:25:27
阅读次数：
78
系列随笔： （总览）基于商品属性的相似商品推荐算法 （一）基于商品属性的相似商品推荐算法——整体框架及处理流程 （二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分 （三）基于商品属性的相似商品推荐算法——批量处理商品属性，得到属性前缀及完整属性字符串 （四）基于商品 ...
分类：
编程语言 时间：
2020-03-12 19:19:56
阅读次数：
99
系列随笔： （总览）基于商品属性的相似商品推荐算法 （一）基于商品属性的相似商品推荐算法——整体框架及处理流程 （二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分 （三）基于商品属性的相似商品推荐算法——批量处理商品属性，得到属性前缀及完整属性字符串 （四）基于商品 ...
分类：
编程语言 时间：
2020-03-12 18:51:28
阅读次数：
72
系列随笔： （总览）基于商品属性的相似商品推荐算法 （一）基于商品属性的相似商品推荐算法——整体框架及处理流程 （二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分 （三）基于商品属性的相似商品推荐算法——批量处理商品属性，得到属性前缀及完整属性字符串 （四）基于商品 ...
分类：
编程语言 时间：
2020-03-12 18:50:40
阅读次数：
70
系列随笔： （总览）基于商品属性的相似商品推荐算法 （一）基于商品属性的相似商品推荐算法——整体框架及处理流程 （二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分 （三）基于商品属性的相似商品推荐算法——批量处理商品属性，得到属性前缀及完整属性字符串 （四）基于商品 ...
分类：
编程语言 时间：
2020-03-12 18:48:22
阅读次数：
95
系列随笔： （总览）基于商品属性的相似商品推荐算法 （一）基于商品属性的相似商品推荐算法——整体框架及处理流程 （二）基于商品属性的相似商品推荐算法——Flink SQL实时计算实现商品的隐式评分 （三）基于商品属性的相似商品推荐算法——批量处理商品属性，得到属性前缀及完整属性字符串 （四）基于商品 ...
分类：
编程语言 时间：
2020-03-12 18:38:28
阅读次数：
81
使用批处理有两个前提： 1. 首先要MySQL驱动支持批处理(我用的5.17) 2. 配置连接服务器的地址时，在后面加：?rewriteBatchedStatements=true 如： 相关API： addBatch：将SQL语句添加到批处理包 executeBatch：执行批处理包中的SQL语句 ...
分类：
数据库 时间：
2020-03-04 20:48:12
阅读次数：
103
平时在处理一个或几个机器运行环境时，一个机器一个机器处理也能接受，但是如果是一批机器，几十或几百台，要是一台一台去安装环境，光是输入同一的命令，估计你自己都想吐，所有聪明的人会想一些偷懒的办法，确实可以找到一些省时省力的方法，比如写一个批量处理shell脚本，这几天在处理一批（八九十台）机器环境，找 ...
分类：
系统相关 时间：
2020-03-01 23:24:13
阅读次数：
182
