1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:
其他好文 时间:
2021-03-16 13:21:18
阅读次数:
0
“云原生”,很多人会对这个新名词感到困惑,到底什么是云原生,云原生又能给我们带来什么呢?其实云原生的概念最早是由来自Pivotal的MattStine于2013年首次提出,这是他根据自身多年的架构和咨询经验总结出来的一个思想集合,得到了开源社区的不断完善,并被一直延续使用至今。 一、什么是云原生 那 ...
分类:
其他好文 时间:
2021-03-12 14:41:05
阅读次数:
0
内核的任务 内核接管所有操作系统进程,比如内存管理、任务调度、读入/写出、进程通信,以及整个系统的控制。 启动阶段 这分为两个阶段加载:第一阶段,内核被载入内存并解压,并设置某些基本功能(如内存管理)。第二阶段,控制权切换到主要的内核启动进程。一旦内核完全运作,内核便开始查找并运行初始化进程(ini ...
分类:
系统相关 时间:
2021-03-08 13:52:01
阅读次数:
0
背景介绍: 在多线程的环境里,如果共享资源没有上锁,将会出现共享数据混乱的情况。 在单核CPU系统里,系统以时间片调度的方式让多个程序轮流使用处理器,造成了【并发】的假象。 在进程/线程并发执行的过程中,进程/线程之间存在协作的关系,比如互斥、同步。 什么叫进程互斥? 两个或两个以上的进程,不能同时 ...
分类:
编程语言 时间:
2021-03-03 12:23:58
阅读次数:
0
中断发生时,操作系统会为当前的任务建立一个快照,陷入内核,把CPU的控制权交给内核。内核趁这个机会做一些工作,比如调度执行其他任务。这只是中断的作用之一。 使用中断有一套固定的流程,掌握它即可。流程大概如下: 初始化8259A 初始化工作是对主从8259A的两类端口赋值。这两类端口是:ICW和OCW ...
分类:
其他好文 时间:
2021-03-03 12:19:38
阅读次数:
0
线程:进程上下文中执行的代码序列,又名轻量级进程。 在支持多线程的系统中,进程成为资源分配和保护的实体,线程是被调度执行的基本单元。进程是拥有资源的最小单位。 线程的分类 1)核心态线程(内核级线程):所有管理操作都是有操作系统内核完成的 2)用户态线程(用户级线程):一般我们操作的线程都是用户态线 ...
分类:
编程语言 时间:
2021-03-03 12:04:38
阅读次数:
0
? | 导语 本文主要是讲Linux的调度系统, 由于全部内容太多,分三部分来讲,调度可以说是操作系统的灵魂,为了让CPU资源利用最大化,Linux设计了一套非常精细的调度系统,对大多数场景都进行了很多优化,系统扩展性强,我们可以根据业务模型和业务场景的特点,有针对性的去进行性能优化,在保证客户网络 ...
分类:
系统相关 时间:
2021-02-27 13:18:28
阅读次数:
0
导言 TcaplusDB是腾讯出品的分布式NoSQL数据库,存储和调度的代码完全自研。具备缓存+落地融合架构、PB级存储、毫秒级时延、无损水平扩展和复杂数据结构等特性。同时具备丰富的生态、便捷的迁移、极低的运维成本和五个九高可用等特点。TcaplusDB产品团队目前运营着全球最大的游戏数据库集群,服 ...
分类:
数据库 时间:
2021-02-27 13:10:57
阅读次数:
0
计划任务 计划任务主要是做一些周期性的任务,目前主要的用途是定期备份数据 在linux下,有两个命令可以用来做计划任务而执行 at: 一次性定时任务计划执行 crontab: 每天定时计划任务执行 一次性调度执行 at 语法格式 at 示例 Ctrl+d 保存指令 # 查看进行中的任务 atq [r ...
分类:
其他好文 时间:
2021-02-27 13:03:57
阅读次数:
0
0.介绍 Open-source job scheduling system for .NET Quartz.net 是调度任务框架,我们可以用来定时发送邮件、定时处理邮件、定时统计分析数据、定时监控... 本文介绍Quartz.net的简单使用 1. 参考资料 官方Doc https://www. ...
分类:
Web程序 时间:
2021-02-23 14:35:15
阅读次数:
0