近期接触了下前端项目，记录下学习过程。 近几年前端发展的迅猛，各种框架层出不穷，vue react angular ，各种第三方组件 原来会点js，jQuery 前后端一个人全搞定了，现在前后端分离，后端主要提供接口，前端主要负责交互 对于个人来说会更专注自己的业务，当然对于企业来说会多了一个人力成 ...
分类：
其他好文 时间：
2020-05-07 22:35:21
阅读次数：
97
1. 创建 Vue 项目 我们利用 Vue CLI 工具进行快捷创建 下载 Vue CLI 工具 yarn add global @vue/cli or: npm i @vue/cli g 创建 Vue 项目 根据自己项目需求进行配置，这里不过多的赘述。 vue create example exa ...
分类：
其他好文 时间：
2020-05-06 14:09:47
阅读次数：
141
Yarn是什么？ “Yarn是由Facebook、Google、Exponent 和 Tilde 联合推出了一个新的 JS 包管理工具 ，正如官方文档中写的，Yarn 是为了弥补 npm 的一些缺陷而出现的。”这句话让我想起了使用npm时的坑了：- npm install的时候巨慢。特别是新的项目拉 ...
分类：
其他好文 时间：
2020-05-06 11:53:11
阅读次数：
59
一、关于UI地址 master: 8080 worker: 8081 application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看) 二、历史服务器（这里说明yarn模式） 1、 配置历史服务器 1）spark-defaults.conf 默认配置 spar ...
分类：
其他好文 时间：
2020-05-05 00:33:46
阅读次数：
60
问题 为防止因为虚拟机内存过少，进程被杀死，需要关闭yarn的内存检测 yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true --> <property> <name>yarn.nodemanager.pmem-che ...
分类：
其他好文 时间：
2020-05-04 21:34:02
阅读次数：
99
最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包含判断、循环等存储过程中才有的写法，仅仅支持一些简单的变量替换，比如当前账期等。然后通过一个通用的shell脚本来执行hsql文件。该脚本是主要是调用了hive -f ...
分类：
移动开发 时间：
2020-05-04 19:41:21
阅读次数：
296
下面记录下YARN的服务组件和提交流程的基础知识，主要参考文末博文，其中 提交流程部分直接引用 ，感谢被引用的博主 "PeTu" 。 YARN介绍 YARN是在Hadoop2.0引入的，它的出现是历史的产物。在Hadoop1.0版本时，有JobTracker和TaskTracker来完成资源调度和任 ...
分类：
其他好文 时间：
2020-05-04 19:18:43
阅读次数：
85
一、简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题： （1）海量数据的存储 [HDFS] （2）海量数据的分析 [MapReduce] （3）资源管理调度 [YARN] 二、hadoop架构 在其核心，Hadoop ...
分类：
其他好文 时间：
2020-05-03 10:26:41
阅读次数：
66
可以用此插件：https://github.com/FranckFreiburger/http-vue-loader <script src="https://cdn.jsdelivr.net/npm/http-vue-loader@1.4.2/src/httpVueLoader.min.js">< ...
分类：
Web程序 时间：
2020-04-29 15:13:42
阅读次数：
72
Hadoop 2.x 集群安装，包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类：
其他好文 时间：
2020-04-29 10:44:59
阅读次数：
76
