今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
一.简介 xgboost在集成学习中占有重要的一席之位，通常在各大竞赛中作为杀器使用，同时它在工业落地上也很方便，目前针对大数据领域也有各种分布式实现版本，比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm，即梯度提升模型，它在此基础上做了进一步优化 ...
分类：
编程语言 时间：
2021-07-05 19:03:36
阅读次数：
0
IPFS分布式存储全面运用落地之后，FIL币的价值才达到最巅峰。恐怕每个人都明白了一个道理，顺势而为，即做事要顺势，不能逆势而行，这样才更容易成功。现实的法则，生存的法则是这样的。?如今，区块链、数字经济也是如此，抓住“机会”，就能被时代潮流推到成功的彼岸，而这一机遇也是 IPFS作为整个区块链唯一 ...
分类：
其他好文 时间：
2021-07-05 18:21:09
阅读次数：
0
如今大数据行业十分火热，本人认为python是比较强大的分析工具，在网易云课堂上学习了python数据分析。做了案例，写下代码分析过程以及分析结论。 以下是电商打折套路的python数据分析项目。 # -*- coding: utf-8 -*- """ Created on Wed Jan 9 15 ...
分类：
编程语言 时间：
2021-07-02 16:39:07
阅读次数：
0
import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类：
其他好文 时间：
2021-07-02 16:33:14
阅读次数：
0
【推荐系统算法实战】 基于网页的 Notebook：Zeppelin 交互式数据分析 如果有一个工具，可以让你在同一个Web页面上写Shell代码，Python代码，Scala代码，你想要么？ 如果还可以执行PySpark代码和Spark代码呢？心动了吗？ 如果还可以写Hive-SQL，Spark- ...
分类：
编程语言 时间：
2021-07-02 15:35:46
阅读次数：
0
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
package cn.irisz.steam import org.apache.flink.api.common.RuntimeExecutionMode import org.apache.flink.streaming.api.scala._ import org.apache.flink.t ...
分类：
其他好文 时间：
2021-06-29 15:38:43
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
01 背景 面对大量用户访问、高并发请求，单机网站可以从软硬件两个方面寻求解决方法： 1、硬件方面：可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器； 2、软件方面：采用高效率的编程语言(比如Go，Erlang，Scala)等。 但是，当单机容量达到极限时，我们需要考虑业务拆分和分布 ...
分类：
编程语言 时间：
2021-06-28 20:23:37
阅读次数：
0
