数据应用,是真正体现数仓价值的部分,包括且又不局限于 数据可视化、BI、OLAP、即席查询,实时大屏,用户画像,推荐系统,数据分析,数据挖掘,人脸识别,风控反欺诈,ABtest等等 OLAP(On-Line Analytical Processing):在线分析处理,主要用于支持企业决策管理分析。 ...
分类:
其他好文 时间:
2021-03-16 11:54:33
阅读次数:
0
以表的操作和单条记录的增删改查为基础。 批量操作,需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类:
编程语言 时间:
2021-03-15 11:32:26
阅读次数:
0
自增且连续主键的分页查询 避免前n条记录的读取[https://dev.mysql.com/doc/refman/5.7/en/limit-optimization.html](mysql manual),可以采用: select * from t1 where id >99000 limit 2; ...
分类:
其他好文 时间:
2021-03-15 11:20:12
阅读次数:
0
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于BigTable,即分布式NoSQL列数据库,外加Zo ...
分类:
其他好文 时间:
2021-03-15 10:45:14
阅读次数:
0
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 答: Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于BigTabl ...
分类:
其他好文 时间:
2021-03-15 10:30:53
阅读次数:
0
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoo ...
分类:
其他好文 时间:
2021-03-15 10:30:41
阅读次数:
0
本文目的不在于详解分页机制的内容,而在于从头捋清到底为什么非要采用分页机制做内存管理,因此有些繁琐,对分页机制的细节,将在其他文章讨论,欢迎交流和指正。 一、背景和缘起 1、内存管理要完成哪些任务? 内存是整个计算机系统的”交通枢纽“,是指令和数据的集散地,具体地说,除了操作系统外,指令是进程的指令 ...
分类:
其他好文 时间:
2021-03-10 13:39:28
阅读次数:
0
1.分页查询 ①配置类中追加分页插件 //注册分页插件 @Bean public PaginationInterceptor paginationInterceptor() { return new PaginationInterceptor(); } ②测试分页查询 //测试分页查询 @Test ...
分类:
其他好文 时间:
2021-03-10 13:13:53
阅读次数:
0
charger_area_list, _ = cls.paginator(charger_area_list, page_no, page_size) 要定义类方法,才可以使用cls调用 class BaseService(object): @classmethod # limit分页 def li ...
分类:
编程语言 时间:
2021-03-10 13:03:32
阅读次数:
0
基于element-ui封装一个Table模板组件 大家在做后台管理系统的时候,写的最多的可能就是表格页面了,一般分三部分:搜索功能区、表格内容区和分页器区。一般这些功能都是使用第三方组件库实现,比如说element-ui,或者vuetify。这两个组件库都各有各的优点,但就table组件来说,我还 ...
分类:
其他好文 时间:
2021-03-09 13:02:56
阅读次数:
0