今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
1-1,结构化数据建模流程范例 一，准备数据 titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。 结构化数据一般会使用Pandas中的DataFrame进行预处理。 import numpy as np import pandas as pd import m ...
分类：
其他好文 时间：
2021-06-13 09:38:59
阅读次数：
0
一、说在前面 1、使用工具：py2neo ，官方操作文档 ：https://py2neo.org/v4/index.html 2、还包括一些neo4j的命令操作 二、案例说明 1、数据展示 2、这个案例主要是读取Excel中的结构化数据购买方、销售方（节点）和金额（边），并实现在图中创建实体 三、相 ...
分类：
编程语言 时间：
2021-06-13 09:30:36
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的 ...
分类：
数据库 时间：
2021-05-24 04:51:50
阅读次数：
0
Spark SQL 及其 DataFrame 的基本操作 Q & A 1. Spark SQL 出现的原因是什么? 关系数据库已经流行多年，能较好的满足各类商业公司的业务数据管理需求，但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作（包括结构化和非结构化数据） ...
分类：
数据库 时间：
2021-05-24 04:48:45
阅读次数：
0
Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 ...
分类：
数据库 时间：
2021-05-24 03:08:56
阅读次数：
0
本文是protobuf的基础教程，适合没有任何框架基础的人学习。。protobuf是Google的语言无关，平台无关的可扩展机制，用于对结构化数据进行序列化。什么意思呢？举个例子，我有一个数据结构Person，里面有一堆信息。比如这样。 我们知道，在网络中我们传输的都是tcp包或者是udp包，所以， ...
分类：
其他好文 时间：
2021-04-22 15:46:36
阅读次数：
0
assume cs:codesg datasg segment ; 年份 21x4=84, 0-83 db '1975','1976','1977','1978','1979','1980','1981','1982','1983' db '1984','1985','1986','1987','1 ...
分类：
编程语言 时间：
2021-02-09 12:13:06
阅读次数：
0
文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo ...
分类：
数据库 时间：
2021-01-19 12:02:43
阅读次数：
0
