在搭建大数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的大数据平台要具备的基本功能，来决定平台搭建过程中使用的大数据处理工具和框架。 大数据分析平台自下而上一般分为三个部分，分别为：数据层、大数据采集与存储、数据分析及展示。 (1)数据层，针对不同系统进行分析，制定系统数据采集范围与目标，收集各
分类：
其他好文 时间：
2020-09-18 02:05:44
阅读次数：
35
mysql数据库建模过程：1：分析客户的业务和数据处理要求 2：设计数据库的E-R模型图 3：应用三大范式审核数据库结构 4：代码编写，软件测试，安装部署。 设计数据库的步骤：1：标识实体（实体用矩形表示）2：表识每个实体的属性（属性用椭圆形表示）3：标识实体之间的关系（用菱形表示） E-R图设计（ ...
分类：
数据库 时间：
2020-09-18 01:20:39
阅读次数：
35
上一阶段公号更新了 OpenCV 的一些小案例，在接下来的一段时间里公号的更文计划向 Pandas、Numpy、Matplotlib 关于数据处理、可视化的方向侧重；偶尔会加入几篇 Python 自动化办公相关文章，小伙伴们关于推文方向有什么建议的话可以发在下方评论里，也可以在后台私信我。 对于 P ...
分类：
其他好文 时间：
2020-09-17 23:13:11
阅读次数：
44
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 20:18:31
阅读次数：
34
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 19:57:01
阅读次数：
24
一致性检查点(checkpoints) flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝(一份快照)；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候 从检查点恢复状态 在执行流应用程序期间，flink ...
分类：
其他好文 时间：
2020-09-17 19:08:07
阅读次数：
22
随着互联网和通信技术的不断发展，企业的数据处理和存储趋于规模化、灵活化和节能化，IDC也从基础的主机托管、带宽出租等业务不断与新技术结合（云计算、边缘计算等）拓展到网络安全服务、代维服务、虚拟数据存储和计算等综合化业务，IDC向着产业4.0时代迈进。产业1.0时代：数据中心大多用于科研方面，基础电信运营商提供少量中心机房机柜出租，服务内容单一，主要包括出租机柜，提供场地、电力、网络带宽、通信设备等
分类：
其他好文 时间：
2020-09-17 17:15:44
阅读次数：
30
伴随着多雨季节的到来，长江中下游地区百年难遇的洪水灾害，正牵动着全国各地亿万人民的心。而如何使用高新科技武装防汛工作，基本保障广大人民群众的生命财产安全，也变成了当今各个地区政府部门最为急切的研究课题。一、运筹帷幄的“防汛大脑”2020年7月初的一天，由于接连不断的降雨天气和不断上升的水位，浙江省金华市正式发布了暴雨橙色预警。如临大敌的金华防汛办指挥部里，坐满了金华市的领导和相关部门相关工作人员，
分类：
其他好文 时间：
2020-09-17 13:49:05
阅读次数：
46
1.数据库应用系统开发方法 1.1数据库应用系统生命周期 1.1.1 软件工程与软件开发方法 典型方法：瀑布模型，快速原型模型，螺旋模型 1.1.2 DBAS生命周期模型 生命周期：项目规划，需求分析，系统设计，实现与部署，运行与维护 系统设计：概念设计，逻辑设计，物理设计 1.2规划与分析 规划与 ...
分类：
数据库 时间：
2020-09-17 13:23:54
阅读次数：
23
这个问题之所以产生，是来自于阿里的java手册中 【线程池不允许使用Executors去创建，而是通过ThreadPoolExecutor的方式。】 哪个对？个人觉得还是看实际的项目，当你的项目的规模不够大，随便使用都可以，但是如果规模够大，访问量，数据处理，线程的使用量都达到了一定的规模。最好是使 ...
分类：
编程语言 时间：
2020-09-16 12:15:36
阅读次数：
48
