写在前面Java后端程序员应该会遇到读取Excel信息到DB等相关需求,脑海中可能突然间想起ApachePOI这个技术解决方案,但是当Excel的数据量非常大的时候,你也许发现,POI是将整个Excel的内容全部读出来放入到内存中,所以内存消耗非常严重,如果同时进行包含大数据量的Excel读操作,很容易造成内存溢出问题但EasyExcel的出现很好的解决了POI相关问题,原本一个3M的Excel用
分类:
其他好文 时间:
2020-08-02 10:24:09
阅读次数:
95
国际惯例,先上图。这次聚会是由程序视界的安老师(程序员的成长课作者)和360的明哥组织的9人聚会,每个人都是身怀绝技,有985高校的客座教授,有月入4-5w做淘宝加运维的DBA,还有电视台的大数据分析师,靠自己的视频产品也能过的衣食无忧的大牛,还有大咖安晓辉老师,9月份就发布第七本新书了,靠着知乎、在行、写作版权在各个付费平台更是大神级别的存在,还有其他等等大牛这里就不一一介绍了,咱们重点来看这次
分类:
其他好文 时间:
2020-08-02 10:16:01
阅读次数:
71
背景介绍今天要介绍的小伙伴是90年的,6年工作经验,重庆邮电大学软件工程本科,以下属于小伙伴对自己的情况做的自述:我目前在中国平安人寿总部,负责部门的大数据平台和一些业务需求开发,属于后台和大数据都会,但都半吊子,吹牛还行,都不能算精通。工作除了开发大数据平台还有后台开发还有一部分管理,公司需求不复杂。在公司进步空间也小。涨薪慢,30多万年薪,加10w股票(几乎不加班)。目前有一个华为的机会到hr
分类:
其他好文 时间:
2020-08-02 10:11:02
阅读次数:
93
Lambda表达式(也称为闭包),它允许我们将函数当成参数传递给某个方法,或者把代码本身当作数据处理。很多语言(Groovy、Scala等)从设计之初就支持Lambda表达式。但是java中使用的是匿名内部类代替。最后借助强大的社区力量,找了一个折中的Lambda实现方案,可以实现简洁而紧凑的语言结构。一、匿名内部类到Lambda的演化匿名内部类,即一个没有名字的,存在于一个类或方法内部的类。当我
分类:
编程语言 时间:
2020-08-02 10:04:21
阅读次数:
79
Lambda表达式(也称为闭包),它允许我们将函数当成参数传递给某个方法,或者把代码本身当作数据处理。很多语言(Groovy、Scala等)从设计之初就支持Lambda表达式。但是java中使用的是匿名内部类代替。最后借助强大的社区力量,找了一个折中的Lambda实现方案,可以实现简洁而紧凑的语言结构。1、匿名内部类到Lambda的演化?匿名内部类,即一个没有名字的,存在于一个类或方法内部的类。当
分类:
编程语言 时间:
2020-08-02 10:02:48
阅读次数:
78
Java8新特征之LambdaLambda表达式(也称为闭包),它允许我们将函数当成参数传递给某个方法,或者把代码本身当作数据处理。很多语言(Groovy、Scala等)从设计之初就支持Lambda表达式。但是java中使用的是匿名内部类代替。最后借助强大的社区力量,找了一个折中的Lambda实现方案,可以实现简洁而紧凑的语言结构。1、匿名内部类到Lambda的演化?匿名内部类,即一个没有名字的,
分类:
编程语言 时间:
2020-08-02 10:01:54
阅读次数:
73
题意: 多组输入,给定a,b两个数组,长度分别为n,m。每个元素有两个值:wi,vi,要求从两个数组中分别选出一个子数组,使得两个子数组的wi和相同,并使总的vi之和最大。 数据范围:n,m<=1e3,wi<=1e3,vi<=1e9,\(\sum(n+m)<=1e4\) 解法: 很容易想到分别对两个 ...
分类:
其他好文 时间:
2020-07-31 18:01:31
阅读次数:
115
0、背景在当今世界,各行各业每天都有海量数据产生,为了从这些海量数据中获取想要的分析结果,需要对数据进行提取、转换,存储,维护,管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力,只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索引擎,具有
分类:
其他好文 时间:
2020-07-31 01:10:28
阅读次数:
62
0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch,那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做:数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈,夯实基础认知。ELKStack是三个开源项目
分类:
其他好文 时间:
2020-07-31 01:06:57
阅读次数:
77
一、数据库硬件优化(选型) 1.一般数据库有几种 1.真实的硬件,物理机 2.云服务器 ECS,自己搭建mysql 3.选择云数据库 RDS #数据库类型 OLTP:在线事务处理系统 OLAP:一般用来数据存储,数据处理,数据展示 2.硬件选型 1)CPU选择 1.IO密集型:在企业里部署数据库的服 ...
分类:
数据库 时间:
2020-07-30 19:46:08
阅读次数:
94