介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
什么叫结构化程序设计？它的主要内容是什么？ 结构化程序设计（structured programming，简称SP）是进行以模块功能和处理过程设计为主的详细设计的基本原则。其概念最早由E.W.Dijikstra在1965年提出的。结构化程序设计思想确实使程序执行效率提高 ，是软件发展的一个重要的里程 ...
分类：
其他好文 时间：
2020-07-27 23:49:27
阅读次数：
205
大数据技术之Shell 第1章 Shell概述 （1）编译型语言: 程序在执行之前需要个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，直接使用编译的结果就行了。程序执行效率高，依养编译器，跨平台性差些。如C、C++、java （2）解释型语言: 程序不需要编译，程序在运行时由解释 ...
分类：
系统相关 时间：
2020-07-02 21:29:35
阅读次数：
86
利用线程和线程池进行爬虫： 同步调用：即提交一个任务后就在原地等待任务结束，等到拿到任务的结果后再继续下一行代码，效率低下，调用一个任务，就在原地等待任务结束拿到结果后才继续往后执行。 解决方案一：使用多线程/多进程（不建议） 好处：在服务器端使用多线程（或多进程）的目的是让每个连接都拥有独立的线程 ...
分类：
其他好文 时间：
2020-05-15 11:45:15
阅读次数：
60
两类型语言 一、 编译型语言 ：在程序执行之前必须进行专门的编译过程，如C、C++、Java等。 编译型语言有以下特点： 只需编译一次 就可以把源代码 编译成机器语言 ，后边的执行 无需重新编译 ，直接使用之前的编译结果就可以，因此 执行效率比较高 。 程序执行效率比较高，但比较依赖编译器，因此 跨 ...
分类：
Web程序 时间：
2020-04-05 11:17:29
阅读次数：
88
现假设有一个整型数组： Integer[] arr = {20, 20, 4, 4, 21, 7}; // 2020年4月4日21时7分 如何用逗号加空格 “, ” 分割数组元素并放置在“[]”中从而获得如下格式的数组元素字符串呢？ [20, 20, 4, 4, 21, 7] Show you th ...
分类：
其他好文 时间：
2020-04-05 00:27:21
阅读次数：
70
池和回调函数 使用线程池和进程池的原因： 减少时间：在池中可以提前开几个线程线程不关闭，程序运行的时候可以直接使用线程，减少线启动和关闭的时间。 减少开销：有大量程序需要处理的时候如果使用多线程去处理，那么会需要开启很多的线程，如果超出CPU+1的数量，那么会造成程序执行效率低下。 但是如果使用线程 ...
分类：
其他好文 时间：
2020-03-15 13:40:23
阅读次数：
75
在网上看了很多关于QT和MFC的对比，以前一个项目需要一个从电脑串口发消息的上位机。 功能/需求：只需要电脑串口发送特定字符串，（不需要回显）。 最后只生成一个.exe文件和一个.txt的配置文件： 最直观的感受就是： 1、MFC很快 程序执行效率高，速度较快，简洁（优点）； 2、MFC界面不华丽， ...
分类：
编程语言 时间：
2020-02-23 20:34:38
阅读次数：
85
什么是shell？ 通俗的说，shell 就是输入Linux 指令并得到计算机输出的地方。shell 是Linux 的外壳，是Linux 的用户界面，可以为用户提供输入命令和参数，并可以得到命令执行结果的环境。 当前，我们所用的可执行程序一般有两种实现方式：一种是二进制方式；另一种是脚本（scrip ...
分类：
系统相关 时间：
2020-02-21 18:40:41
阅读次数：
79
1.用一句话概括Shell Shell是一个解释器，介于应用程序（用户）和操作系统之间的一个桥梁，负责命令的解释 2.Shell的编程语言编译型语言: 程序在执行之前需要个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，直接使用编译的结果就行了。程序执行效率高，依养编译器，跨平台性 ...
分类：
其他好文 时间：
2020-02-13 19:15:46
阅读次数：
49
