今天主要学习了对spark的初步认识以及相应名词的理解 包括Spark特点、 Scala特性、BDAS架构、Spark组件的应用场景、Spark基本概念、Spark运行架构、 Spark架构设计的优点 、Spark各种概念之间的相互关系 Hadoop 是基于磁盘的大数据计算框架 Spark是基于内存 ...
分类：
其他好文 时间：
2020-01-26 22:32:22
阅读次数：
95
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
1.导出整个数据库 mysqldump -u 用户名 -p --default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin1) mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql 2.导出一个表 mysq ...
分类：
数据库 时间：
2020-01-25 23:25:46
阅读次数：
77
代码文件：https://files.cnblogs.com/files/haijian/batch_RasterSubsetViaShapefile.zip 利用官方微博裁剪代码进行批处理裁剪。 ...
分类：
其他好文 时间：
2020-01-24 18:46:51
阅读次数：
74
许多大厂使用flin + storm.spart/storm是批处理大数据，flink是流处理大数据。也就是说支持增量的更新，不用牵一发而动全身，实施更改。 安装和部署。 可以用kubernates管理cluster，把程序部署到集群中。也可以部署到本地虚拟机。 nc -l -p 9000,然后输入 ...
分类：
其他好文 时间：
2020-01-24 17:11:00
阅读次数：
91
系统重要的目录及文件 1.启动目录：在此文件夹下的程序会开机自启；（Startup); 2.windows--System32(系统配置目录不要乱改）--config--SAM 此文件保存系统账号密码 3.windows--System--drivers--etc--hosts 此文件用来解析域名 ...
分类：
其他好文 时间：
2020-01-22 20:17:36
阅读次数：
96
我的项目由客户端、后台管理、数据库和服务器三部分组件，每次启动项目都要一个一个启动，挺麻烦的，现在写一个.bat文件来批处理命令。 这个是我的启动文件内容。 第一行运行的我wampServer服务器，我用这个来运行和管理mySql 第二行，先启动一个新的命令行窗口，\K 是为了不让窗口自动关闭，我需 ...
最近系统更新比较频繁，web系统老是上新，因此在nginx这边经常需要重启或者刷新，做了一个批命令供参考。 1.鼠标右键-新建-一个.TXT文本文档；在里面输入NGINX重启的命令。 2.输入NGINX命令 这里是使用的cmd批处理执行，可以先在cmd里面测试了使用，NGINX是个压缩包，版本1.1 ...
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
https://www.jb51.net/article/29885.htm @echo off&setlocal enabledelayedexpansion set li0=┌───────────────────┐ set li1=│┌┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┐│1 for /l % ...
分类：
其他好文 时间：
2020-01-20 19:22:45
阅读次数：
69
