利用Spark往Hive中存储parquet数据，针对一些复杂数据类型如map、array、struct的处理遇到的问题？为了更好的说明导致问题 ...
分类：
其他好文 时间：
2020-12-08 12:44:11
阅读次数：
4
1方案介绍大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了
分类：
其他好文 时间：
2020-12-07 12:19:18
阅读次数：
6
?进行数据分析的时候，我们会根据分析的数据内容选择合适的图表来进行数据可视化分析和展示，对较大数据进行汇总分析时，我们常常会用到数据透视表，但是，excel里做数据透视表很复杂，总是记不了步骤，也经常点错，每次使用都得重头做一遍。是否有什么软件可以拖拖拽拽，快速制作数据透视表？有！就是Smartbi ...
分类：
其他好文 时间：
2020-12-07 12:00:40
阅读次数：
4
按位使用数据以及union 例如：typedef union tagData{ long x:2; long y:4; long data;}data_item,*pdata_item; 上述是一个联合体，联合体的对象用的空间是类型中占用内存最大的哪个，例如上例中data_item变量占用4个字节。 ...
分类：
其他好文 时间：
2020-12-04 11:18:07
阅读次数：
7
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
Flink的优势和特点： 一、同时支持高吞吐、低延迟、高性能 Flink是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。Apache Spark也只能兼顾高吞吐和高性能特点，主要是因为Spark Streaming流式计算中无法做到低延迟保障；而流式计算框架Apa ...
分类：
其他好文 时间：
2020-12-03 11:33:38
阅读次数：
5
HBase读写流程 在网上找了一张图，这个画的比较简单，就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时，首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类：
其他好文 时间：
2020-12-02 12:39:17
阅读次数：
7
前段时间跟一个朋友聊起kafka,flint,spark这些是不是某种分布式运算框架。我自认为的分布式运算框架最基础条件是能够把多个集群节点当作一个完整的系统，然后程序好像是在同一台机器的内存里运行一样。当然，这种集成实现方式有赖于底层的一套消息系统。这套消息系统可以把消息随意在集群各节点之间自由传 ...
分类：
其他好文 时间：
2020-11-30 16:09:25
阅读次数：
9
点击上方蓝字关注我们 Paper Pal：一个中英文论文及其代码大数据搜索平台 余万, 付聿炜, 熊贇, 朱扬勇 1 引言 在开展科研工作的过程中，科研人员需要从大量实时更新的论文中持续地跟踪学术界前沿的发展情况，学习最新研究成果。近年来，人工智能（artificial intelligence， ...
分类：
其他好文 时间：
2020-11-30 15:52:07
阅读次数：
8
Python里面有3大数据结构：列表，字典和集合.字典是常用的数据结构，里面有一些重要的技巧用法，我把这些都整理到一起,熟练掌握这些技巧之后，对自己的功力大有帮助.1.字典的排序:用万金油sorted()函数举一个简单的例子my_dict={"cc":100,"aa":200,"bb":10}print(sorted(my_dict.it
分类：
编程语言 时间：
2020-11-27 11:11:14
阅读次数：
8
