大数据开发？大数据分析？数据挖掘算法？ 关于大数据的知识，因为自己之前做大创、听讲座以及主动地去踩学习的坑，所以关于学习和规划我可以给予一些经验。 一、我选大数据的原因 高考前我最想学的专业几乎都是跟电子信息领域相关，比如‘电子信息与技术’、‘计算机科学与技术’、‘物联网工程’和‘信息管理与信息系统 ...
分类：
编程语言 时间：
2020-05-27 15:21:36
阅读次数：
83
1、环境准备 TDengine是涛思数据推出的一款开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度。 目前，TDengine只支持在使用systemd做进程服务管理的l ...
分类：
其他好文 时间：
2020-05-21 00:23:47
阅读次数：
178
在当今工业4.0 新时代的推动下，不仅迎来了 工业互联网 的发展，还开启了 5G 时代的新次元。而伴随着带宽的提升，网络信息飞速发展，能源管控上与实时预警在工业互联网中也占着举足轻重的地位，而对于高炉炼铁的发展上来看，目前已完成国内260座高炉的数字化和智能化落地，并推动炼铁大数据平台在... ...
分类：
Web程序 时间：
2020-05-14 01:36:10
阅读次数：
68
利用虚拟机安装docker，在docker环境中搭建HDP大数据平台 前言 : 在一台虚拟机上搭建3个docker容器 作为安装HDP的环境，虚拟机环境centos7.6 docker环境为centos7.6 https://hub.docker.com/_/centos 在此网站查询想要的版本号 ...
分类：
其他好文 时间：
2020-04-29 01:26:09
阅读次数：
537
（IDC张美艳）虽然容灾备份一直备受企业关注，但是根据调查显示，大多数公司并没有对自己的企业IT做好充足的容灾准备。IDG研究服务的调查结果显示，42%的受调查企业仍没有部署现代化的容灾恢复的解决方案，尽管之前这些企业遭受过数据丢失。 这些企业中的多数依然依靠无效的手段流程和磁带进行备份。不过这种备份方式正在悄然变化。大多数受访者预期，在未来的18个月的时间里，他们将用高可用性、自动化系统的系统
分类：
其他好文 时间：
2020-04-26 23:53:31
阅读次数：
89
大数据平台CDH5.16.2安装配置标签（空格分隔）：大数据平台构建一：环境初始化二：安装CDH5.16.21.1:系统环境介绍系统：RHEL7.7X64cat/etc/hosts---172.17.100.21rhel01.flyfish172.17.100.22rhel02.flyfish172.17.100.23rhel03.flyfish172.17.100.24rhel04.flyfis
分类：
其他好文 时间：
2020-04-26 11:06:22
阅读次数：
143
hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍； TDH: 4.x系列 TDH4.9.2之后开始使用的版本是对应开源的1.3.1，之前版本对应的开源的0.98.6 5.x系列 TDH5.2.3之 ...
分类：
其他好文 时间：
2020-04-21 11:23:59
阅读次数：
139
官网参考地址：https://docs.gethue.com/administrator/configuration/connectors/ presto和clickhouse的配置方式基本一致 presto的配置 进入hue的家目录执行以下命令 ./build/env/bin/pip instal ...
分类：
其他好文 时间：
2020-04-14 18:51:32
阅读次数：
342
背景 背景说起来有点复杂，公司的项目旧平台已经弃用（相关人员都离职的七七八八），但是系统却还在运行（虽说是演示系统）。 在职人让找离职的，离职让找在职的，没办法，只好自己搞。 就平台跑在k8s集群上，其中一个服务作为大数据平台，数据存储在hbase数据库。 由于平台没有人运维，一直都有挂掉起不来的可 ...
分类：
数据库 时间：
2020-03-31 23:07:44
阅读次数：
104
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
