今天主要学习了spark实验四的内容，实验四主要为RDD编程，本实验的重点为两个编程题 1.编写独立应用程序实现数据去重对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。输入文件 A ...
分类：
其他好文 时间：
2020-02-06 23:17:43
阅读次数：
168
一、防火墙的概念 什么是防火墙？防火墙是一台或一组设备，用以在网络间实施访问控制策略；事实上一个防火墙能够包含OSI模型中的很多层，并且可能会涉及进行数据包过滤的设备，它可以实施数据包检查和过滤，在更高的层次中对某应用程序实现某一策略，或做更多类似的事情。防火墙的功能主要是隔离功能，工作在网络或主机 ...
分类：
系统相关 时间：
2020-02-06 10:32:18
阅读次数：
84
今天只完成了第四个实验的第2题，这也是一下午的结果，今天一下午彻底自闭了，程序总是出错，并且错误还一直解决不了。今天效率低的原因是一直报数组越界的错误，可是怎么看数据文件都没有错误。最后的最后，也就是刚才，无奈之下将文件重新写了一遍，这样结果才终于对了。 第二题实验内容： 2.编写独立应用程序实现数 ...
分类：
其他好文 时间：
2020-02-05 18:53:54
阅读次数：
88
编写程序 在I1.2 的上升边沿 触发 MW8+1的程序 实现方式1 M1.1 为中间变量 对应的STL语句表 执行结果 OK 已经仿真 。 现在尝试第2种方法 实现方式2： M1.1也是中间变量 STL语句表实现方式 第2种方法 运行 仿真 OK 有了上面 实现... ...
分类：
其他好文 时间：
2020-02-05 10:07:05
阅读次数：
79
python中的logging模块用于记录日志。用户可以根据程序实现需要自定义日志输出位置、日志级别以及日志格式。 将日志内容输出到屏幕 一个最简单的logging模块使用样例，直接打印显示日志内容到屏幕。 import logging logging.critical("critical log" ...
分类：
编程语言 时间：
2020-02-02 11:57:42
阅读次数：
96
网站开发的基本步骤 1.网站策划 网站定位 资料收集 确定开发环境 2.页面设计 效果图 页面开发 整体效果演示 3.后台开发 数据库设计 程序实现 测试与发布 4.网站部署 域名申请 购买服务器 网站部署 5.后期维护 内容维护 程序维护 SEO长期管理 ...
分类：
Web程序 时间：
2020-01-26 17:19:14
阅读次数：
84
RMQ是询问某个区间内的最大值或最小值的问题,ST算法可以求解RMQ问题.ST算法通常用在要多次询问某一些区间的问题中,相比于线段树,它的程序实现更加简单,运行速度更快,它可以做到O(nlogn)的预处理,O(1)回答每个问题.使用ST算法的条件是没有修改操作,因此它适用于没有修改操作并且访问次数较多(10^6级别甚至更大)的情况.1.预处理ST算法的原理实际上是动态规划,首先要知道f数组的含义,
分类：
编程语言 时间：
2020-01-24 10:57:33
阅读次数：
101
需求： 1.通过注册输入用户名和密码 2.能够验证用户名和密码是否正确 3.限制输入一定错误次数后退出程序 4.利用格式化输出方式输出信息 分析： 使用username=input()和password=input()输入用户信息，利用while语句分别实现注册、登录、循环次数功能， 嵌套if语句进 ...
分类：
编程语言 时间：
2020-01-18 16:36:47
阅读次数：
81
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库... ...
分类：
其他好文 时间：
2020-01-15 19:44:01
阅读次数：
63
首页入口 进入搜索页 搜索结果页 后台提供三个接口 搜索页面 搜索页面业务逻辑 搜索页面样式 搜索结果页面 搜索结果页逻辑 搜索结果页样式 ...
分类：
微信 时间：
2020-01-14 13:19:27
阅读次数：
94
