介绍 分而治之是一个有效的处理大数据的方法，著名的MapReduce就是采用这种分而治之的思路。简单的说，如果要处理1000个数据，但是我们不具备处理1000个数据的能力，只可以处理10个数据。我们可以将这个任务分成100份，每份处理10个，并将最后的结果进行合成，形成1000个数据的处理结果。 把 ...
分类：
编程语言 时间：
2021-03-10 13:02:18
阅读次数：
0
1.union 和 union all 前者可以去重 select sex,address from test where dt='20210218' union all select sex,address from test where dt='20210218'; + + +--+ | sex ...
分类：
其他好文 时间：
2021-03-08 14:17:52
阅读次数：
0
介绍 SqlSugar是一款 老牌 .NET 开源ORM框架，并且在第一时间兼容.NET5，由果糖大数据科技团队维护和更新 ，Github star数仅次于EF 和 Dapper 优点： 简单易用、功能齐全、高性能、轻量级、服务齐全、有专业技术支持一天18小时服务 支持数据库：MySql、SqlSe ...
分类：
数据库 时间：
2021-03-08 13:59:25
阅读次数：
0
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 ...
分类：
其他好文 时间：
2021-03-06 14:45:39
阅读次数：
0
首先，Python作为一门全场景编程语言，当前在IT互联网行业内确实有比较广泛的应用，而且与Java语言主要应用在IT互联网行业不同，Python在传统行业领域的应用也非常普遍，相信随着云计算、大数据、人工智能等技术平台逐渐开始在传统行业领域开始落地应用，Python语言还有较大的上升空间。 当前世 ...
分类：
编程语言 时间：
2021-03-06 14:39:49
阅读次数：
0
4GB以上超大文件上传和断点续传服务器的实现 随着视频网站和大数据应用的普及，特别是高清视频和4K视频应用的到来，超大文件上传已经成为了日常的基础应用需求。 但是在很多情况下，平台运营方并没有大文件上传和断点续传的开发经验，往往在网上找一些简单的PHP或者Java程序来实现基本的上传功能，然而在实际 ...
分类：
Web程序 时间：
2021-03-06 14:34:28
阅读次数：
0
想了一堆奇怪的做法，最后通过观察大数据过了。 链接 思路 开始观察 \(border\) 长度盲猜了一个结论，就看在第一个有数值的位置前有几个零，结果错了。 下了数据点后看了一下，发现一段连续后又会出现零，但是似乎每一个合法的字符串在最后都会变回一段从1开始的连续序列，从1一直到字符串结束。 于是又 ...
分类：
其他好文 时间：
2021-03-04 13:12:59
阅读次数：
0
大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFS（Hadoop分布式文件系统）是Hadoop体系中 数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于 ...
分类：
其他好文 时间：
2021-03-02 12:24:42
阅读次数：
0
