Master Thread工作方式
在前面的文章:InnoDB体系架构——后台线程 说到:InnoDB存储引擎的主要工作都是在一个单独的后台线程Master Thread中完成。这篇具体介绍该线程的具体实现及该线程可能存在的问题。
一、InnoDB1.0X版本之前的Master Thread
Master Thread具有最高的线程优先级别,内部由多个循环组成:主循环(loop)、后台循环(background loop)、刷新循环(flush loop)、暂停循环(suspend loop),Master Thread会根据数据库运行的状态进行循环之间的切换。
Loop主循环(大多数操作都在这个循环下)这个由两大部分操作,每秒和每10秒操作:
void master_thread() { loop: for(int i=0; i<10; i++) { do thing once per second sleep 1 second if necessary } do things once per then seconds goto loop; }
可以发现,loop循环是通过thread sleep来实现的,意味着每秒或者每10每秒的操作并不是十分的精确的,在负载大的情况下,可能会有不同程度的延迟(delay)。
每秒一次的操作包括:
1. 日志缓冲刷新到磁盘(总是):即使事务没有提交,InnoDB也会每秒将重做日志缓冲刷新到重做日志文件中,因此可以理解为什么再大的事务提交,时间也是很短的。
2. 合并插入缓冲insert buffer(可能):并不是每秒刷新的,如果前一秒的IO次数小于5,则认为IO压力小,可以执行合并插入缓冲的操作。
3. 最多刷新100个InnoDB的缓冲池脏页到磁盘(可能):判断当前缓冲池中脏页的比例(buf_get_modifyed_ratio_pct)是否超过了配置文件中innodb_max_dirty_pages_pct这个参数(默认为90)如果超过了这个阈值,InnoDB存储引擎认为需要做同步操作,将100个脏页写入磁盘中。
4. 如果当前没有用户活动,切换到background loop(可能)
每10秒的操作:
1. 刷新100个脏页到磁盘(可能)
2. 合并至多5个插入缓冲(总是)
3. 将日志缓冲刷新到磁盘(总是)
4. 删除无用的undo页(总是):InnoDB存储引擎会执行full purse操作,即删除无用的Undo页,对表进行update、delete这类操作,原先行被标记删除,但是因为一致性读读关系,需要保留这些行的版本号,这时候会进行回收删除。
5. 刷新100个或者10个脏页到磁盘(总是)
接着来看background loop 若当前没有用户活动(数据库空闲时)或者数据库关闭(shutdown),就会切换到这个循环执行以下操作:
1. 删除无用的undo页(总是)
2. 合并20个插入缓冲(总是)
3. 跳回到主循环(总是)
4. 不断刷新100个页,直到符合条件(可能,跳转到flush loop中完成):如果fulsh loop 页没有什么事情可以做了,InnoDB存储引擎会切换到suspend loop,将Master Thread刮起。
二、InnoDB1.2.X之前的版本的Master Thread
在如今磁盘技术的快速发展中,对于缓冲池向磁盘刷新时都做了一定的hard coding,这些限制很大程度上限制了InnoDB存储引擎对磁盘IO的性能,尤其是写入性能。
因此提供参数innodb_io_capacity用来表示IO的吞吐量,默认200,对于刷新到磁盘页的数量,会按照innodb_io_capacity的百分比来控制:
在合并插入缓冲时,合并插入缓冲的数量为innodb_io_capacity值5%;
在从缓冲池刷新脏页时,刷行脏页的数量为innodb_io_capcity;
通过以下为代码,我们可以得到InnoDB1.2X前Master Thread的工作方式:
void master_thread() { loop: for(int i=0; i<10; i++) { thread_sleep(1) // sleep 1秒 do log buffer flush to dish if (last_one_second_ios < 5% innodb_io_capacity) { do merget 5% innodb_io_capacity insert buffer } if (buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct) { // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct(默认是75时) do buffer pool flush 100% innodb_io_capacity dirty page // 刷新全部脏页到磁盘 } else if (enable adaptive flush) { // 如果开户了自适应刷新 do buffer pool flush desired amount dirty page // 通过判断产生redo log的速度决定最合适的刷新脏页的数量 } if (no user activetuy) { goto background loop } } if (last_ten_second_ios < innodb_io_capacity) { // 如果过去10内磁盘IO次数小于设置的innodb_io_capacity的值(默认是200) do buffer pool flush 100% innodb_io_capacity dirty page } do merge 5% innodb_io_capacity insert buffer // 合并插入缓冲是innodb_io_capacity的5%(10)(总是) do log buffer flush to dish do flush purge if (buf_get_modified_ratio_pct > 70%) { do buffer pool flush 100% innodb_io_capacity dirty page } else { do buffer pool flush 10% innodb_io_capacity dirty page } goto loop backgroud loop: // 后台循环 do full purge // 删除无用的undo页 (总是) do merger 5% innodb_io_capacity insert buffer // 合并插入缓冲是innodb_io_capacity的5%(10)(总是) if not idle: // 如果不空闲,就跳回主循环,如果空闲就跳入flush loop goto loop: // 跳到主循环 else: goto flush loop flush loop: // 刷新循环 do buf_get_modified_ratio_pct pool flush 100% innodb_io_capacity dirty page // 刷新200个脏页到磁盘 if ( buf_get_modified_ratio_pct > innodb_max_dirty_pages_pct ) // 如果缓冲池中的脏页比例大于innodb_max_dirty_pages_pct的值(默认75%) goto flush loop // 跳到刷新循环,不断刷新脏页,直到符合条件 goto suspend loop // 完成刷新脏页的任务后,跳入suspend loop suspend loop: suspend_thread() //master线程挂起,等待事件发生 waiting event goto loop; }
三、InnoDB1.2.x版本的Master Thread
if (InnoDB is idle) { srv_master_do_idle_tasks(); // 每10秒操作 } else { srv_master_do_active_tasks(); // 每秒操作 }