###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
大数据平台CDH6.3.2部署标签（空格分隔）：大数据平台构建一：环境初始化二：安装CDH6.3.2一：环境初始化1.1环境介绍系统：CentOS7.5X64cat/etc/hosts----192.168.11.160dev01.lanxintec.cn192.168.11.161dev02.lanxintec.cn192.168.11.162dev03.lanxintec.cn----1.2：
分类：
其他好文 时间：
2020-05-28 10:25:00
阅读次数：
800
做任何事情都要有目标，然后根据这个目标根据自身的条件和外部的情况制定一个思路，这个思路也可以理解为实现目标的路径。那么大数据的平台搭建也不例外。 脚本工具化 在数据收集，存储、分析的初期，通常来说程序员都是根据业务需求，通过一些脚本来完成数据收集，分析的工作。表面上是完成了一些数据操作的功能，同时也 ...
分类：
其他好文 时间：
2020-05-27 20:44:05
阅读次数：
71
###1.主体架构 说明: 该平台涉及到的子系统较多，而且由于保密的因素，不宜说明太过详细。本人只负责以下标注红框的设计和研发 ...
分类：
Web程序 时间：
2020-05-27 20:35:17
阅读次数：
85
大数据开发？大数据分析？数据挖掘算法？ 关于大数据的知识，因为自己之前做大创、听讲座以及主动地去踩学习的坑，所以关于学习和规划我可以给予一些经验。 一、我选大数据的原因 高考前我最想学的专业几乎都是跟电子信息领域相关，比如‘电子信息与技术’、‘计算机科学与技术’、‘物联网工程’和‘信息管理与信息系统 ...
分类：
编程语言 时间：
2020-05-27 15:21:36
阅读次数：
83
证券公司每天产生的数据中80%以上是非结构化数据，持续的数据增长，证券服务向智能化、敏捷化、价值化方向发展，对后端存储提出了挑战。1、变革的动力：证券信息化升级以影像、图片、扫描件为主的非结构化数据激增，数据量从TB级向PB级跃进。每年新增大量应用，复杂性增加，海量文件的访问性能面临新挑战。机构内部业务繁杂，存在数据壁垒，需搭建统一数据平台，提高跨业务共享效率。技术演进推动应用的容器化部署，这要求
分类：
其他好文 时间：
2020-05-23 09:57:17
阅读次数：
56
1、环境准备 TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。 目前，TDengine只支持在使用systemd做进程服务管理的l ...
分类：
其他好文 时间：
2020-05-21 00:23:47
阅读次数：
178
数据中台、相信这四个字大家一定不陌生。因为在2019年、数据中台可谓是最火的概念之一，很多大公司都在布局自己的数据中台。 那么数据中台到底是什么？它和我们熟知的数据平台有啥区别？它为什么会这么火、能给企业带来什么价值呢？数据中台整体架构和全景图又是什么呢？ 笔者有幸参与了公司数据中台从0到N的建设， ...
分类：
其他好文 时间：
2020-05-19 22:55:00
阅读次数：
136
说到平台开发，企业可能都会遇到过这样的情况，耗时多、人力成本高，进而导致开发效率低。那么如何快速开发数据平台呢？相信通过我今天的分享，将会对你在进行数据平台开发时，提供强有力的帮助。大家也可以搜索腾讯课堂、网易云课堂-《grafana运维监控与数据分析》接下来我将以一种最简单的方式，来分享一下怎样快速开发，通过我讲到的解决方式来操作，可以说，对于初创型公司来说，相信可以节约很多时间和人力成本。我们
分类：
其他好文 时间：
2020-05-16 09:25:36
阅读次数：
465
在当今工业4.0 新时代的推动下，不仅迎来了 工业互联网 的发展，还开启了 5G 时代的新次元。而伴随着带宽的提升，网络信息飞速发展，能源管控上与实时预警在工业互联网中也占着举足轻重的地位，而对于高炉炼铁的发展上来看，目前已完成国内260座高炉的数字化和智能化落地，并推动炼铁大数据平台在... ...
分类：
Web程序 时间：
2020-05-14 01:36:10
阅读次数：
68
