线上有一个消息消费服务，主线程批量从kafka拉取消息，然后提交到子线程池中挨个消费。分布式追踪用到的kafka插件会使子线程创建的ThreadLocalScope被循环引用，从而造成内存泄漏。 ...
分类：
其他好文 时间：
2021-02-20 11:53:15
阅读次数：
0
1.需求 /** * 需求：每两个元素输出一次 */2 代码 package com.nx.streaming.lesson03; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api ...
分类：
其他好文 时间：
2021-02-15 12:25:40
阅读次数：
0
线程池基本机制 线程池是一种池化资源，其主要解决重复创建线程带来的额外开销。线程池的设计使用了生产者-消费者模型。向线程池中提交一个计算任务，执行提交动作的线程是生产者，线程池中的线程作为消费者来执行具体的计算。 Executor和ExecutorService Java中Executor是线程池的 ...
分类：
编程语言 时间：
2021-02-03 10:58:10
阅读次数：
0
每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
Structured Streaming Structured Streaming 是 Spark Streaming 的进化版 Spark 编程模型的进化过程 总结 RDD 的优点 面向对象的操作方式 可以处理任何类型的数据 RDD 的缺点 运行速度比较慢, 执行过程没有优化 API 比较僵硬, ...
分类：
其他好文 时间：
2021-01-18 11:40:47
阅读次数：
0
java.lang.RuntimeException: java.io.IOException: No such file or directory at org.apache.poi.xssf.streaming.SXSSFWorkbook.createAndRegisterSXSSFSheet( ...
分类：
Web程序 时间：
2021-01-18 11:31:01
阅读次数：
0
Java 并发 Java 并发 一、使用线程 实现 Runnable 接口 实现 Callable 接口 继承 Thread 类 实现接口 VS 继承 Thread 二、基础线程机制 Executor Daemon sleep() yield() 三、中断 InterruptedException ...
分类：
编程语言 时间：
2021-01-16 11:56:57
阅读次数：
0
今天有一个接口20s 才能展示出来数据，这怎么可以领导直接让我去处理这个接口，处理不出来就不要下班了 我心中一紧 赶紧去看这是哪个垃圾写出来的代码 浏览了一下代码发现 需求是这样子的 后台请求一个地址 返回了一个list集合，我拿着这个list 集合对象的主键，再去调用查看详情接口，拼接到原来的对象 ...
分类：
编程语言 时间：
2021-01-11 10:36:24
阅读次数：
0
machine 是借鉴了errgroup的一个golang 并发处理包，errgroup 的使用很简单，但是对于异常的处理只能 包含一次结果，不能知道每次 gorroutine 的执行结果，同时machine也扩展了好多特性 比较适合的场景 grpc streaming 服务 websocket 服 ...
分类：
系统相关 时间：
2020-12-24 12:00:19
阅读次数：
0
使用event-source-polyfill 前提： 严格的来说，HTTP协议无法做到服务端主动推送消息，但是，有一种方法，是服务器向客户端声明，接下来要发送的是流信息（streaming）。也就是说，发送的不是一次性的数据包，而是一个数据流，会连续不断的发送过来，这时，客户端不会关闭链接，会一直 ...
分类：
其他好文 时间：
2020-12-19 11:37:37
阅读次数：
1
