1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-02 15:40:05
阅读次数：
0
我去年出了一本Python书，基于股票大数据分析的Python入门实战，在这本书里，我是用股票范例讲述Pythorn的爬虫，数据分析和机器学习知识点，如下是京东的连接。 https://item.jd.com/71486761859.html 结果前几天出版社告诉我，我的书被台湾的出版社买去版权，然 ...
分类：
编程语言 时间：
2021-06-02 15:34:50
阅读次数：
0
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示： 2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示m ...
分类：
其他好文 时间：
2021-06-02 15:22:12
阅读次数：
0
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类：
数据库 时间：
2021-06-02 15:02:56
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
简介： 本文将会介绍Hologres基于roaringbitmap实现超高基数的UV计算 RoaringBitmap是一种压缩位图索引，RoaringBitmap自身的数据压缩和去重特性十分适合对于大数据下uv计算。其主要原理如下： 对于32bit数, RoaringBitmap会构造2^16个桶 ...
分类：
其他好文 时间：
2021-06-02 13:11:42
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 ...
分类：
数据库 时间：
2021-06-02 12:16:19
阅读次数：
0
Kafka概述 Kafka是一个基于发布、订阅的分布式消息队列,用于大数据实时处理。 为什么要用kafka? 注册信息的过程,先在网站上填写注册信息,后台会调用其他服务的接口,反馈给网页注册成功信息,最后再显示给用户,并且将短信发送给用户,该过程为同步通信过程,需要同步等待，由于同步通信的过程比较慢 ...
分类：
其他好文 时间：
2021-06-02 12:12:15
阅读次数：
0
Nosql概述： 大数据时代，一般的数据库无法支撑 为什么要用NoSQL 用户的个人信息，社交网络，地理位置，用户自己产生的数据，用户的日志等等爆发式增长！ 这时候我们需要使用NoSQL数据库，可以很好的处理以上情况 什么是NoSQL NoSQL = Not Only SQL泛指非关系型数据库 No ...
分类：
其他好文 时间：
2021-06-02 11:55:43
阅读次数：
0
说明 使用了自定义的数据库连接池，没有对连接做timeout处理，以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型，采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入，例子中的代码仅为测试目的，没有做封装。 <d ...
分类：
数据库 时间：
2021-06-02 10:35:03
阅读次数：
0
