Python有3大数据类型，列表，字典和集合，列表和字典前面我都讲过了，今天我们来聊聊Python中的集合.Python的书里面完整全面讲集合的不多，即使有的也只是简单带过，笔墨不多。大部分介绍Python数据结构都是被列表，字典两大网红遮盖了锋芒.貌似集合在Python的世界里很冷门,其实集合里面的东西很有用，有它特定的适用的场景,特别是在数据处理的时候.大显身手.那么说起集合，很多人一定想到了
分类：
编程语言 时间：
2020-11-27 11:10:27
阅读次数：
8
###Spark中的UDF Spark1.6只能创建临时UDF，不支持创建持久化的UDF。 从Spark-2.0开始，SparkSQL支持持久化的UDF，目前看来是支持UDAF ###Spark中的UDF 过程 (1)自定义UDF类，实现UDF1/2/3....22中的接口之一，其中UDF后跟的数字 ...
分类：
其他好文 时间：
2020-11-26 15:06:55
阅读次数：
6
01 我们一起学大数据 今天老刘分享的是MapReduce知识点的第二部分，在第一部分中基本把MapReduce的工作流程讲述清楚了，现在就是对MapReduce零零散散的知识点进行总结，这次的内容大纲如下图： 02 需要谨记的知识点 第6点：自定义分区 在上篇文章里的第五点提到过这句话：分区用到了 ...
分类：
其他好文 时间：
2020-11-25 12:39:39
阅读次数：
6
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类：
其他好文 时间：
2020-11-25 12:06:50
阅读次数：
8
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习，Hadoop包含三个模块，这次先分享出Hadoop中的HDFS模块的基础知识点，也算是对今天复习的内容进行一次总结，希望能够给想学大数据的同学一点帮助，也希望能够得到大佬们的批评和指点！（每个点都很重要，都不能忽视） 02 需谨记 ...
分类：
其他好文 时间：
2020-11-23 12:18:23
阅读次数：
6
上一篇《EDA云实证Vol.1：从30天到17小时，如何让HSPICE仿真效率提升42倍？》里，我们帮一家Design House提高了使用HSPICE进行芯片设计仿真的效率。 而设计好的集成电路图案需要通过光刻机转印到晶圆上才能完成制造，这就是芯片制造中最重要的一个步骤——光刻。 在先进工艺特别是 ...
分类：
其他好文 时间：
2020-11-23 11:48:59
阅读次数：
5
# abc的类型为tbl_spark class(abc) #"tbl_spark" #列名 colnames(abc) #行数 abc %>% count() # 把abc转为data frame a <- data.frame(abc) class(a) #"data.frame" #行列数 d ...
分类：
其他好文 时间：
2020-11-21 12:35:33
阅读次数：
5
大数据查询引擎Presto简介SQLonHadoop：Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala等SQLonHadoop的常见工具：Presto是什么：Presto是由Facebook开发的分布式
分类：
数据库 时间：
2020-11-21 12:01:11
阅读次数：
8
漫画：什么是大数据？大数据是具有海量、高增长率和多样化的信息资产，它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。Bigdataishighvolume,highvelocity,and/orhighvarietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightd
分类：
其他好文 时间：
2020-11-20 12:05:55
阅读次数：
7
