码迷,mamicode.com
首页 > 其他好文 > 详细

EFCore连接池的坑 差点晚年不保

时间:2019-12-20 20:11:32      阅读:557      评论:0      收藏:0      [点我收藏+]

标签:core   data   leo   param   type   blocking   ros   where   次数   

长话短说

  上个月公司上线了一个物联网数据科学项目,我主要负责前端接受物联网事件,并提供 参数下载。

webapp 部署在Azure云上,参数使用Azure SQL Server存储。 最近从灰度测试转向全量部署之后,日志时常收到:

 SQL Session会话超限的报错。

19/12/18 20:41:18 [Error].[Microsoft.EntityFrameworkCore.Query].[][0HLS3MS83SC3K:00000004].[http://localhost/api/v1/soc-prediction-model/all].[].[GetModeParameters] 
An exception occurred while iterating over the results of a query for context type Gridsum.SaicEnergyTracker.CarModelContext.
Microsoft.Data.SqlClient.SqlException (0x80131904): Resource ID : 2. The session limit for the database is 300 and has been reached. See http://go.microsoft.com/fwlink/?LinkId=267637 for assistance.
Changed database context to saic-carmodel.
Changed language setting to us_english.
   at Microsoft.Data.ProviderBase.DbConnectionPool.CheckPoolBlockingPeriod(Exception e)
   at Microsoft.Data.ProviderBase.DbConnectionPool.CreateObject(DbConnection owningObject, DbConnectionOptions userOptions, DbConnectionInternal oldConnection)
   at Microsoft.Data.ProviderBase.DbConnectionPool.UserCreateRequest(DbConnection owningObject, DbConnectionOptions userOptions, DbConnectionInternal oldConnection)
   at Microsoft.Data.ProviderBase.DbConnectionPool.TryGetConnection(DbConnection owningObject, UInt32 waitForMultipleObjectsTimeout, Boolean allowCreate, Boolean onlyOneCheckConnection, DbConnectionOptions userOptions, DbConnectionInternal& connection)
   at Microsoft.Data.ProviderBase.DbConnectionPool.WaitForPendingOpen()
--- End of stack trace from previous location where exception was thrown ---
   at Microsoft.EntityFrameworkCore.Storage.RelationalConnection.OpenDbConnectionAsync(Boolean errorsExpected, CancellationToken cancellationToken)
   at Microsoft.EntityFrameworkCore.Storage.RelationalConnection.OpenDbConnectionAsync(Boolean errorsExpected, CancellationToken cancellationToken)
   at Microsoft.EntityFrameworkCore.Storage.RelationalConnection.OpenAsync(CancellationToken cancellationToken, Boolean errorsExpected)
   at Microsoft.EntityFrameworkCore.Storage.RelationalCommand.ExecuteReaderAsync(RelationalCommandParameterObject parameterObject, CancellationToken cancellationToken)
   at Microsoft.EntityFrameworkCore.Query.RelationalShapedQueryCompilingExpressionVisitor.AsyncQueryingEnumerable`1.AsyncEnumerator.MoveNextAsync()

 排查

  我在Azure上使用的是 SQL Server Basic Edition(好歹也是付费版),全量发布至今,日均SQL访问次数约为10000,查询了Azure SQL的使用限制文档

一句话: 付费级别和计算资源大小决定了  Azure SQL最大会话数和请求数。要缓解,要么升级硬件资源,要么优化查询利用率。

查看使用EFCore访问 SQL Server的过程,  也是官方默认用法:

  •  在依赖注入框架 注册一个自定义的 DbContext类型
  • 在 Controller 构造函数中获取 DbContext实例

这意味着每次请求都会创建一个 DbContext实例, 可以想象到

 ① 在高并发请求下,连接数不断累积,最终某时刻会超过 Azure 的连接限制数量。

 ② 频繁创建和销毁 DbContext 实例,影响App Service自身性能。

EFCore2.0 为DbContext引入新的注册方式, 能够透明的注册一个 DbContext实例池:

services.AddDbContextPool<CarModelContext>(options => options.UseSqlServer(Configuration.GetConnectionString("SQL")));

   - 一如既往支持lambda方式注册连接字符串

  - 默认的连接池数量为 128

  - 每次使用完DbContext不会释放对象,而是重置并回收到DBContextPool

Web程序中通过重用池中DbContext实例可增加高并发场景下的吞吐量, 这在概念上类似于ADO.NET Provider原生的连接池操作方式,具有节省DbContext实例化成本的优点,   这也是EFCore2.0 其中一个性能亮点。

这么重要的使用方式竟然不在 Microsoft doc 默认Demo中推荐使用,真是一个坑。

技术图片

修改代码重新部署之后,历经几天测试,暂时未出现最开始的SqlException异常。

验证

回过头随机验证SQL Server 会话中有效连接:

SELECT DEC.session_id, DEC.protocol_type, DEC.auth_scheme,
  DES.login_name, DES.login_time
FROM sys.dm_exec_sessions AS DES
  JOIN sys.dm_exec_connections AS DEC
    ON DEC.session_id = DES.session_id;

技术图片

总结

①  提示EFCore2.0 新推出的 DbContextPool 特性, 能有效提高查询吞吐量

②  尝试使用SQL Server 内置脚本自证会话中有效连接数

+  https://stackoverflow.com/questions/48443567/adddbcontext-or-adddbcontextpool

https://docs.microsoft.com/en-us/ef/core/what-is-new/ef-core-2.0#dbcontext-pooling

https://www.mssqltips.com/sqlservertip/5507/understanding-and-using-sysdmexecsessions-in-sql-server/

EFCore连接池的坑 差点晚年不保

标签:core   data   leo   param   type   blocking   ros   where   次数   

原文地址:https://www.cnblogs.com/JulianHuang/p/12074483.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!