说明：以下是我学习整理的有关Python的相关笔试或者面试题，因为题目是自己解答的，如有错误，欢迎指出！ 2018-09-06 1.简述函数式编程 答：在函数式编程中，函数是基本单位，变量只是一个名称，而不是一个存储单元。除了匿名函数外，Python还使用fliter(),map(),reduce( ...
分类：
编程语言 时间：
2020-02-03 16:03:17
阅读次数：
70
什么是爬虫 网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。 网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。 爬虫访问网站的过程会消耗目标系统资 ...
分类：
编程语言 时间：
2020-02-02 15:45:03
阅读次数：
203
MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 ...
分类：
其他好文 时间：
2020-01-28 20:53:14
阅读次数：
68
最近打开eclipse 后忽然发现 DFS Location 又找不到了 下面是打开顺序 windows -> perspective->open perspective -> other ->找到 Map/Reduce就可以打开了 ...
分类：
系统相关 时间：
2020-01-22 21:51:38
阅读次数：
138
用法说明 python中有一些非常有趣的函数，面试的时候可能会遇到。今天也来总结一下，不过该类的网上资料也相当多，也没多少干货，只是习惯性将一些容易遗忘的功能进行整理。 lambda 为关键字。filter，map，reduce为内置函数。 lambda：实现python中单行最小函数。 filte ...
分类：
编程语言 时间：
2020-01-11 22:24:56
阅读次数：
113
map var arr = [1,2,3,4,5,6,7,8,9]; var s = arr.map(String); console.info(s) function pow(x){ return x * x; } var results = arr.map(pow); console.info( ...
分类：
其他好文 时间：
2019-12-26 09:30:20
阅读次数：
79
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
1. 什么是DistCp DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。由于使用了Map/Reduce方法，这个工具在语义和执行 ...
分类：
其他好文 时间：
2019-11-18 16:50:54
阅读次数：
215
实验要求及步骤 参考博客：https://blog.csdn.net/qq_41035588/article/details/90514824，但是创建的项目是Map/Reduce项目。其实创建Java项目也可以做，只是需要导入Map/Reduce项目所需要的jar包。 运行结果截图 出现的问题及解 ...
分类：
其他好文 时间：
2019-10-31 01:10:23
阅读次数：
105
filter ，map ，reduce三个高阶函数的使用 普通方法解决数据问题 1. 高阶函数的链式调用 1. ...
分类：
编程语言 时间：
2019-10-26 21:15:07
阅读次数：
102
