一、Kubernetes简介Kubernetes是Google开源的容器集群管理系统，基于Docker构建一个容器的调度服务，提供资源调度、均衡容灾、服务注册、动态扩缩容等功能套件，利用Kubernetes能方便地管理跨机器运行容器化的应用。而且Kubernetes支持GCE、vShpere、CoreOS、OpenShift、Azure..
分类：
Web程序 时间：
2016-04-11 19:01:32
阅读次数：
568
资源调度 说明： Application的调度算法有两种，分别为spreadOutApps和非spreadOutApps spreadOutApps 在spark-submit脚本中，可以指定要多少个executor,executor需要多少个cpu及多少内存，基于该机制，最后executor的实际... ...
分类：
其他好文 时间：
2016-04-07 06:56:20
阅读次数：
295
一.进程描述符：linux支持多进程特性，可以最大化的使用cpu资源；用户可以在同一个cpu上运行多个用户程序。多进程的原理是：时钟中断触发进程调度程序，调度程序分时运行多个进程。这就要求每个进程能够保留现场信息（cpu现尝系统资源、调度信息等）。linux使用进程描述符数据..
分类：
系统相关 时间：
2016-04-05 02:11:15
阅读次数：
322
1.说明Linux的内核负责硬件管理，资源调度，进程管理，和资源管理等相关工作，其中内存资源管理做为kernel的一项非常重要的工作。kernel在处理文件时，如打开一个文件，会将文件的元数据信息，即文件名，inode等信息记录在buffer中，后续重复读取相同的文件，则直接冲buffer中..
分类：
系统相关 时间：
2016-01-23 18:45:53
阅读次数：
266
SparkStandalone模式安装SparkStandalone集群手动启动集群集群创建脚本提交应用到集群创建Spark应用资源调度及分配监控与日志与Hadoop共存配置网络安全端口高可用性基于Zookeeper的Master本地系统的单节点恢复除了运行在mesos或yarn集群管理器中，spa...
分类：
其他好文 时间：
2016-01-05 23:55:55
阅读次数：
508
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定...
分类：
其他好文 时间：
2016-01-04 22:25:24
阅读次数：
222
Kubernetes是Google开 源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器 技术的mini-PaaS平台。本文旨在梳理Kub...
分类：
Web程序 时间：
2015-11-10 12:34:41
阅读次数：
303
mesos是什么呢？一个分布式调度框架，让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行，资源调度都可以由它来帮你搞掂。1.mesos安装有两种方式：1）参考官网的getstart，下载源码然后进行编译http://mesos.apache.org/gettingstarted/这个就不...
分类：
其他好文 时间：
2015-11-05 13:18:22
阅读次数：
288
1.物流管理系统2.Android天气预报和日程管理3.宠物交易4.粒子群优化5.文本聚类软件设计与实现 FCM+Kmeans + TFIDF6.遗传算法优化Kmeans7.遗传算法优化资源调度8.仿今日头条的个性化推荐APP+后台9.银行信贷系统10.博客系统QQ：在博客右侧
分类：
编程语言 时间：
2015-10-22 15:42:52
阅读次数：
156
仿照《hadoop技术内幕：深入解析MapReduce架构设计与实现原理》中的原图，我用手绘制了一份类似的图-_-4大部分：HDFS，Client，JobTracker，TaskTrackerYARN的思想在于，将资源调度和作业控制分开，从而降低单个节点（JobTracker的负担）。Applica...
分类：
其他好文 时间：
2015-10-17 14:54:29
阅读次数：
221
