一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
Apache SkyWalking? | SkyWalking Teamhttp://skywalking.apache.org/zh/ Application performance monitor tool for distributed systems, especially designed ...
分类：
其他好文 时间：
2019-05-06 01:39:12
阅读次数：
143
研究了一段时间SpringBoot了准备向SpringCloud进发，公司架构和项目也全面拥抱了SpringCloud。在使用了一段时间后发现SpringCloud从技术架构上降低了对大型系统构建的要求，使我们以非常低的成本（技术或者硬件）搭建一套高效、分布式、容错的平台，但SpringCloud也不是没有缺点，小型独立的项目不适合使用。SpringCloud是什么鬼？SpringCloud是一系
分类：
编程语言 时间：
2019-04-17 15:12:20
阅读次数：
162
Cluster Platform redhat/centos7, docker, mesos, cloudera manager(cdh) Checklist 1 check user & password & network reachability, make sure everything i ...
分类：
其他好文 时间：
2019-02-23 01:35:21
阅读次数：
137
Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
traefik 介绍 "traefik" 是一个为了让部署微服务更加便捷而诞生的现代HTTP反向代理、负载均衡工具。 它支持多种后台 (Docker, Swarm, Kubernetes, Marathon, Mesos, Consul, Etcd, Zookeeper, BoltDB, Rest ...
分类：
其他好文 时间：
2019-02-20 17:16:31
阅读次数：
225
一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower（非必须） worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 ...
分类：
其他好文 时间：
2019-02-20 09:51:48
阅读次数：
154
业界使用架构京东OpenstackIcehouse+docker1.3+OVS2.1.3/2.3.2+Centos6.6==>K8s+Docker+Flannel+Neutron+OVS+DPDK+JFS某个容器失效,自动触发RC(保持IP丌变“迁移”)OVS-VLAN知乎Git+Jenkins(CI/CD)+mesos+自研framework+group(隔离)+Consul+haprox
分类：
其他好文 时间：
2019-01-14 10:59:05
阅读次数：
187
项目应用实现分布式部署 不关心硬件细节。 mesos 分布式文件系统 excutor(调度器) -> master（选举只有一个Master 还有被的standby.master） -> slave（执行任务）->若干个task(跑的一个个实例) marthon 通过application实例 自动 ...
分类：
其他好文 时间：
2019-01-11 20:14:37
阅读次数：
180
Launch Mesos-Slave docker run -d \ -e MESOS_HOSTNAME=192.168.253.160 \ -e MESOS_IP=192.168.253.160 \ -e MESOS_MASTER=zk://192.168.253.159:2181/mesos \ ...
分类：
其他好文 时间：
2019-01-10 15:30:32
阅读次数：
120
