实现这个代码的原因是： 我会MapReduce，但是之前都是在AWS EMR上，自己搭过伪分布式的，但是感觉运维起来比较困难； 我就MySQL会一点（本来想用mongoDB的但是不太会啊） 数据量不是很大，至少对我来说。 希望不要出很么问题，这方面文件系统还是可以信任的。 设计思路如下： init阶 ...
分类：
数据库 时间：
2018-08-09 21:07:39
阅读次数：
198
云上树莓派（1）：环境准备 云上树莓派（2）：将传感器数据上传到AWS IoT 并利用Kibana进行展示 1. 传感器安装及配置 1.1 DHT22 安装 DHT22 是一款温度与湿度传感器，它有3个针脚，左边的第一个引脚（#1）为3-5V电源，第二个引脚（#2）连接到数据输入引脚，最右边的引脚（ ...
分类：
Web程序 时间：
2018-08-09 12:13:05
阅读次数：
494
构建解决方案借助简单的向导和自动化工作流程开始使用您的解决方案。步骤1:选择一个Amazon系统映像(AMI)AMI是一种模板，其中包含启动实例所需的软件配置(操作系统、应用程序服务器和应用程序)。您可以选择AWS、我们的用户社区或AWSMarketplace提供的AMI；或者您也可以选择自己的AMI之一。步骤2:选择一个实例类型AmazonEC2提供多种经过优化，适用于不同使用案例的实例类型以供
分类：
其他好文 时间：
2018-08-09 11:05:59
阅读次数：
338
gitlab的CI/CD配置管理（二）标签（空格分隔）：运维系列一：gitlabCI/CD介绍二：配置gitlab的CI/CD的runner三：代码的MAVEN打包环境四：配置gitlab的CI文件五：发布项目一：gitlabCI/CD介绍1.1gitlabCI/CD概述Gitlab是常用的开源git代码管理工具之一，随着发展也推出了ci/cd解决方案．顾名思义具体来说ci/cd主要完成以下两个工
分类：
其他好文 时间：
2018-08-09 11:04:38
阅读次数：
584
Refer to the following to set root login: sudo s (to become root) vi /root/.ssh/authorized_keys Delete the lines at the begining of the file until you ...
分类：
其他好文 时间：
2018-08-07 00:30:25
阅读次数：
280
1.Create joinad.ps1 2.upload joinad.ps1 into S3 patch 3.run a command "AWS-RunRemoteScript" 4.select instances 5.source type s3 6.source info: {"path" ...
分类：
系统相关 时间：
2018-08-06 14:36:24
阅读次数：
168
SIGCOMM17 摘要 在现有的网络测量任务中包括流量监测、数据收集和一系列网络攻击的预防。现有的基于sketch的测量算法存在严重性能损失、大量计算开销以及测量的精确性不足，而基于硬件的优化方法并不适合sketch。为了完成这些任务，设计了一种基于纯软件包转发的网络测量框架，并改进现有算法提出了 ...
分类：
Web程序 时间：
2018-08-06 13:40:07
阅读次数：
286
soundcloud： 后端：go，scala，java，aws s3，cdn，kafka，ruby ，python，hadoop，spark，Elasticsearch 前端：react soundcloud 内容业务采用scala编写 数据分析：HDFS，Spark，Python，Redshif ...
分类：
其他好文 时间：
2018-08-05 23:32:07
阅读次数：
745
最近的工作的项目是架构在VMwareCloudonAWS平台之上的（https://cloud.vmware.com/vmc-aws），对这个平台有了些了解。这个架构在AWS上的VMwareCloud服务有蛮多的亮点非常可以说一下。?按需使用的基于vSphere技术的数据中心云服务VMware通过与AWS的深度合作，将VMware的vSphere,vSAN和NSX等技术整合起来，优化运行在AWS提
分类：
系统相关 时间：
2018-08-05 17:26:56
阅读次数：
255
1.现在 aws 网站上创建一个硬盘，注意创建的Availability Zone必须和EC2 虚拟机在同一个区，因为一个AZ相当于一个数据中心，为了保证速度，不可能把硬盘和虚拟机放在不同的数据中心。 2.在实例 描述里查看块储存设备有没有挂上新的硬盘。 3.现在我们进入ubuntu系统里 /dev ...
分类：
系统相关 时间：
2018-08-04 23:21:17
阅读次数：
270
