1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-02 15:40:05
阅读次数：
0
我去年出了一本Python书，基于股票大数据分析的Python入门实战，在这本书里，我是用股票范例讲述Pythorn的爬虫，数据分析和机器学习知识点，如下是京东的连接。 https://item.jd.com/71486761859.html 结果前几天出版社告诉我，我的书被台湾的出版社买去版权，然 ...
分类：
编程语言 时间：
2021-06-02 15:34:50
阅读次数：
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类：
数据库 时间：
2021-06-02 15:02:56
阅读次数：
0
hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
简介： 本文将会介绍Hologres基于roaringbitmap实现超高基数的UV计算 RoaringBitmap是一种压缩位图索引，RoaringBitmap自身的数据压缩和去重特性十分适合对于大数据下uv计算。其主要原理如下： 对于32bit数, RoaringBitmap会构造2^16个桶 ...
分类：
其他好文 时间：
2021-06-02 13:11:42
阅读次数：
0
Kafka概述 Kafka是一个基于发布、订阅的分布式消息队列,用于大数据实时处理。 为什么要用kafka? 注册信息的过程,先在网站上填写注册信息,后台会调用其他服务的接口,反馈给网页注册成功信息,最后再显示给用户,并且将短信发送给用户,该过程为同步通信过程,需要同步等待，由于同步通信的过程比较慢 ...
分类：
其他好文 时间：
2021-06-02 12:12:15
阅读次数：
0
Nosql概述： 大数据时代，一般的数据库无法支撑 为什么要用NoSQL 用户的个人信息，社交网络，地理位置，用户自己产生的数据，用户的日志等等爆发式增长！ 这时候我们需要使用NoSQL数据库，可以很好的处理以上情况 什么是NoSQL NoSQL = Not Only SQL泛指非关系型数据库 No ...
分类：
其他好文 时间：
2021-06-02 11:55:43
阅读次数：
0
说明 适用平台：头歌（Educoder）实践教学平台 适用实训： Hive综合应用案例——学生成绩查询 Hive综合应用案例——用户学历查询 Hive综合应用案例——用户搜索日志分析 注意： 看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！ 如果是同一个实训，直接复制粘贴代码，然后点击测评 ...
分类：
其他好文 时间：
2021-06-02 11:35:33
阅读次数：
0
