说明 使用了自定义的数据库连接池，没有对连接做timeout处理，以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型，采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入，例子中的代码仅为测试目的，没有做封装。 <d ...
分类：
数据库 时间：
2021-06-02 10:35:03
阅读次数：
0
今天实现数据批量插入， 看了https://blog.csdn.net/weixin_42796152/article/details/107931768 《基于python,pandas,pymysql 将数据批量高效写入mysql数据库（保证可以用的那种）》的程序和自己编写的 insertMan ...
分类：
数据库 时间：
2021-03-02 12:29:40
阅读次数：
0
1、为什么Kafka有很高的吞吐量？ 1、分区设计，分区分散在多个服务器中实现水平扩展 2、批量写入和读出，查看在kafka的实现会发现，kafka写入和读出的单位是一个消息集合，而不是单条消息 2、分区可以随时增加或减少吗？ 不可以，在设计一个topic时要考虑具体需要多少分区，一旦决定好就不能改 ...
分类：
其他好文 时间：
2020-11-06 01:44:21
阅读次数：
14
项目上要同时修改942个文件的名字，一个一个改简直了，可以通过REN命令两分钟搞定在新建文件夹（2）中新建一个txt文件，get_name.txt写入dir>old_name.txt,保存关闭。修改getname.txt扩展名为.bat,这时变成可执行脚本，将会在此目录下生成一个带有所有文件夹名字的txt文档（old_name.txt）将txt内文档拷贝至Excel分列，只保留文件夹名字，因
分类：
其他好文 时间：
2020-10-12 20:24:56
阅读次数：
26
面试官：想了解应聘者之前公司接触的 ES 使用场景、规模，有没有做过比较大 规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES 集群架构 13 个节点，索引根据通道不同共 20+索引，根据日期，每日 递增 20+，索引：10 分片，每日递增 1 亿+数据， 每个通道每 ...
分类：
其他好文 时间：
2020-06-20 19:36:09
阅读次数：
80
flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的 海量日志采集、聚合和传输的系统 。Flume基于流式架构，灵活简单。 大数据框架大致分为3类： 数据的采集和传输：flume 数据的存储：HDFS 数据的计算：MapReduce 1.2 应用场景 ...
分类：
Web程序 时间：
2020-01-23 12:37:38
阅读次数：
103
准备篇 安装: "Elasticsearch" 连接: "ElasticSearch Head" 建立索引: "详见文末" 1. 安装依赖 2. 建立连接 3. 写入数据 4. 批量写入 5. 根据id查询 6. 查询全部 7. 按条件搜索 附录 自定义索引语句(指定分词方式) ...
分类：
编程语言 时间：
2019-12-31 18:32:17
阅读次数：
157
方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection ...
分类：
数据库 时间：
2019-12-15 16:46:00
阅读次数：
83
方法名描述 db.collection.aggregate() 聚合，主要用于处理数据(诸如统计平均值,求和等)，并返回计算后的数据结果 db.collection.bulkWrite() 批量写入 db.collection.createIndex() 创建一个集合索引 db.collection ...
分类：
数据库 时间：
2019-12-15 16:07:40
阅读次数：
100
一，普通写入数据库 二，批量写入数据库 三，普通写入数据库添加事务 输出结果： ...
分类：
数据库 时间：
2019-12-08 10:45:06
阅读次数：
135
