今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
一.简介 xgboost在集成学习中占有重要的一席之位，通常在各大竞赛中作为杀器使用，同时它在工业落地上也很方便，目前针对大数据领域也有各种分布式实现版本，比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm，即梯度提升模型，它在此基础上做了进一步优化 ...
分类：
编程语言 时间：
2021-07-05 19:03:36
阅读次数：
0
IPFS分布式存储全面运用落地之后，FIL币的价值才达到最巅峰。恐怕每个人都明白了一个道理，顺势而为，即做事要顺势，不能逆势而行，这样才更容易成功。现实的法则，生存的法则是这样的。?如今，区块链、数字经济也是如此，抓住“机会”，就能被时代潮流推到成功的彼岸，而这一机遇也是 IPFS作为整个区块链唯一 ...
分类：
其他好文 时间：
2021-07-05 18:21:09
阅读次数：
0
一)连接 连接通常来自Web服务器，下面列出了一些与连接有关的参数，以及该如何设置它们。 1、max_connections 这是Web服务器允许的最大连接数，记住每个连接都要使用会话内存(关于会话内存，文章后面有涉及)。 2、max_packet_allowed 最大手游数据包大小，通常等于你需要 ...
分类：
数据库 时间：
2021-07-05 16:40:37
阅读次数：
0
如今大数据行业十分火热，本人认为python是比较强大的分析工具，在网易云课堂上学习了python数据分析。做了案例，写下代码分析过程以及分析结论。 以下是电商打折套路的python数据分析项目。 # -*- coding: utf-8 -*- """ Created on Wed Jan 9 15 ...
分类：
编程语言 时间：
2021-07-02 16:39:07
阅读次数：
0
5天dna检测900万人？ 除开医务人员繁忙的影子 也有一群独特的小伙伴们在身后默默地适用 镁伽的自动化技术dna检测服务中心 全过程不用人力手动式干涉 对比人力实际操作有近20倍的扩散系数提高 日检验量可以达到26数万人 等同于50多名检测员24小时的劳动量 还减少一线检验工作人员的感柒风险性 做 ...
分类：
其他好文 时间：
2021-07-02 16:26:00
阅读次数：
0
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
