前言 Elastic自身设计了集群分片的负载平衡机制，当有新数据节点加入集群或者离开集群，集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Ela ...
分类：
其他好文 时间：
2021-05-24 03:46:38
阅读次数：
0
1. Glue与Hudi简介 AWS Glue AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境，只需提供Spar ...
分类：
Web程序 时间：
2021-05-24 03:46:26
阅读次数：
0
键值数据库：Redis、Riak、SimpleDB、Chordless、Scalaris 列族数据库：HBase、BigTable、PNUTS、HadoopDB、Cassandra 文档数据库：MongoDB、CouchDB、Terrastore、CloudKit、RavenDB 图数据库：Neo4 ...
分类：
数据库 时间：
2021-05-24 02:01:30
阅读次数：
0
? 今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。 数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？ 申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起， ...
分类：
其他好文 时间：
2021-05-24 00:46:57
阅读次数：
0
OpenStack构架知识梳理 OpenStack既是一个社区，也是一个项目和一个开源软件，提供开放源码软件，建立公共和私有云，它提供了一个部署云的操作平台或工具集，其宗旨在于：帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。OpenStackd开源 ...
分类：
其他好文 时间：
2021-05-23 23:59:31
阅读次数：
0
解决RuntimeError: you must first build vocabulary before training the model错误 查找解决方案，意思就是说你的数据集中的数量过少，解决方案有两种，扩大数据集的数量、另一个就是更改min_count的值例如：如果太少的话可以更改为 ...
分类：
其他好文 时间：
2021-05-23 23:49:16
阅读次数：
0
分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl ...
分类：
其他好文 时间：
2021-05-04 16:35:44
阅读次数：
0
DolphinScheduler之最美好的遇见 主人翁介绍 hello，大家好，我是郭强，目前是Apache DolphinScheduler的Commiter。擅长大数据olap、大数据调度、RPC开发等。目前专注于大数据领域核心技术研发。 我也是一名开源爱好者，我要讲的是我从起始给 Dolphi ...
分类：
其他好文 时间：
2021-05-04 16:34:22
阅读次数：
0
今日分享开始啦，请大家多多指教~ 今天分享这种常识型的东西，觉得自己太菜了，所以决定还是回到Java基础学习里，花几天时间快速过一遍，我想应该有很多是我遗漏的点，毕竟学习的目标是大数据开发，基础不牢，地动山摇！ 01 概述 计算机包括硬件和软件两部分。硬件包括计算机中可以看得见的物理部分。而软件提供 ...
分类：
编程语言 时间：
2021-05-04 16:11:36
阅读次数：
0
网络协议是每个程序员入门的必修课，但是彻底掌握并应用网络协议知识却并非易事，比如常见的TCP/IP、HTTP。 刘超老师将结合自己从业15年的“泣血”经验，对网络协议的底层概念及其在热门领域的应用进行剖析。 他选取了从底层到上层，最基础、最常用、最重要的网络协议进行一一解析，并将深入分析网络协议在云 ...
分类：
其他好文 时间：
2021-05-03 12:31:08
阅读次数：
0
