标签：toolbox each nal 运行 整合 logstash page 简洁 实现
原文地址：http://www.dotnetcurry.com/aspnet/1354/elastic-search-kibana-in-docker-dotnet-core-app
想要轻松地通过许多不同的方式查询数据，甚至是从未预料到的方式？想要以多种方式可视化日志？同时支持基于时间、文本和其他类型的即时过滤器？
借助于 Elastic stack 的卓越性能和可扩展方式的优点，我们将通过两个示例轻松实现。
本文由 DNC Magazine for Developers and Architects 发布。 从这里下载此杂志[PDF] 或 免费订阅本杂志 下载所有以前和当前的版本版本。
在这篇文章中，我将介绍流行的搜索引擎 Elasticsearch，其配套的可视化应用 Kibana，并展示如何对.NET核心可以轻松地与 Elastic stack 整合在一块。
我们将开始探索 Elasticsearch 的 REST API ，通过索引和查询某些数据。接着，我们将使用Elasticsearch官方的 .Net API 完成类似的练习。一旦熟悉 Elasticsearch 及其 API 后，我们将使用 .Net Core 创建一个日志模块，并将数据发送到 Elasticsearch 。Kibana紧随其中，以有趣的方式可视化 Elasticsearch 的索引数据。
我迫切希望你会认为这篇文章十分有趣，并且想要了解更多关于Elastic的强大之处。
本文假设您已经了解 C＃和 REST API 的基本知识。使用 Visual Studio，Postman 和 Docker 等工具，但您可以轻松使用 VS Code 和 Fiddler 等替代方案。
Elasticsearch 作为核心的部分，是一个具有强大索引功能的文档存储库，并且可以通过 REST API 来搜索数据。它使用 Java 编写，基于 Apache Lucene，尽管这些细节隐藏在 API 中。
通过被索引的字段，可以用许多不同的聚合方式找到任何被存储(索引)的文档。
但是，ElasticSearch不仅仅只提供对这些被索引文档的强大搜索功能。
快速、分布式、水平扩展，支持实时文档存储和分析，支持数百台服务器和 PB 级索引数据。同时作为 Elastic stack (aka ELK) 的核心，提供了诸如 LogStash、Kibana 和更多的强大应用。
Kibana 是 Elasticsearch 中专门提供强有力的可视化查询Web应用程序。使用Kibana，能非常简单地为 Elasticsearch 中索引的数据创建查询、图表和仪表盘。
Elasticsearch开放了一个 REST API，你会发现许多文档示例是 HTTP 调用，你可以尝试使用 curl 或 postman 等工具。当然，这个 API 的客户端已经用许多不同的语言编写，包括.Net、Java、Python、Ruby和JavaScript等。
如果你想阅读更多，Elasticsearch 官方网站 可能是最好的地方。
在这篇文章中，我们需要先连接到一个 Elasticsearch （和后面的Kibana）的服务器。如果您已经有一个在本地运行或可以使用的服务器，那很好。否则需要先搭建一个服务器。
您可以选择在您的本地机器或可以使用的 VM 或服务器中下载和安装 Elasticsearch 和 Kibana 。不过，建议您使用最简单最纯粹的方式，使用Docker 搭建 Elasticsearch 和 Kibana 。
您可以直接运行以下命令，获取包含Elasticsearch和Kibana的容器。
docker run -it --rm -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana在同一个容器中运行多个应用程序，就像我们现在这种做法，非常适用本文，但不是推荐用于生产容器！
您应该意识到，一旦你删除容器，你的数据就会消失（一旦你使用-rm选项就删除它了）。虽然有利于本地实验，但在实际环境中，如果您不想丢失数据，请参照 "data container" 模式。
Docker是一个很棒的工具，我鼓励你更多地了解它，特别是如果你想做更重要的事情，而不仅仅是跟随本文，在本地快速搭建 Elasticsearch 服务器。在之前的文章 Building DockNetFiddle using Docker and .NET Core 中已经对 .NET Core 搭配 Docker 有很好的介绍。
只需打开 http://localhost:9200 和 http://localhost:5600 ，检查Elasticsearch 和 Kibana 是否都可以使用。（如果您使用docker toolbox，请使用托管Docker的虚拟机ip替换localhost，您可以在命令行中运行 docker-machine env default ）。
在我们开始编写任何 .Net 代码之前，我们先了解一下一些基本知识。先在 Elasticsearch 索引一些文档（类似于存到数据库），以便我们对它们运行不同的查询。
在这里，我将使用Postman向我们的 Elasticsearch 服务器发送 HTTP 请求，但您可以使用任何其他类似的工具，如 Fiddler或 curl 。
我们要做的第一件事是请求 Elasticsearch 创建一个新的索引 (译者语:类似创建一个表) 并索引一些文档 (译者语:类似于在数据中插入数据) 。这类似于将数据存储在表/集合中，主要区别（和目的）是让 Elasticsearch 集群 （这里只是一个节点） 可以分析和搜索文档数据。
被索引的文档在 Elasticsearch 中以索引和类型进行组织。以往，被拿来和数据库表做对比，往往会令人困惑。如这篇文章所述，索引由Lucene处理，在分布式跨 分片 中，与类型紧密地联系在一起。
发送以下两个请求以创建索引，并在该索引中插入文档 (请记住 toolbox，如果使用docker ，请使用托管Docker的虚拟机ip而不是localhost) :
PUT localhost:9200/defaultPUT localhost:9200/default/product/1
{
"name": "Apple MacBook Pro",
"description": "Latest MacBook Pro 13",
"tags": ["laptops", "mac"]
}
在我们验证搜索功能和查询数据之前，再索引几个 "product"。尝试使用不同的 "tags"，如 "laptops"和 "laptops"，并记得使用不同的ids！
完成后，让我们按名称排序的搜索所有被索引的文档。您可以使用查询字符串或 GET/POST 同样的内容，下面两个请求是等效的：
GET http://localhost:9200/default/_search?q=*&sort=name.keyword:ascPOST http://localhost:9200/default/_search
{
"query": { "match_all": {} },
"sort": [
{ "name.keyword": "asc" }
]
}让我们尝试一些更有趣的东西，例如搜索 "description" 字段中含有 "latest" ，同时 "tags" 字段中含有 "laptops" 的所有文档：
POST http://localhost:9200/default/_search
{
"query": {
"bool": {
"must": [
{ "match": {"description": "latest"} },
{ "match": { "tags": "laptops" } }
]
}
},
"sort": [
{ "name.keyword": "asc" }
]
}
作为介绍的最后部分，我们将对 Kibana 的相关知识蜻蜓点水。
假设您在上一步已经索引了几个文档，通过访问 http://localhost:5601 中打开在 Docker 的 Kibana 服务器。你会注意到，Kibana 要求你提供默认的索引模式，所以必须告诉它使用的 Elasticsearch 索引：
完成后，使用左侧菜单打开 " 发现 (Discover) " 页面，您应该会看到上一节中插入的所有最新文档。尝试选择不同的字段，在搜索栏中输入相关的字段或某个过滤器：
最后，我们创建一个饼图，显示 "laptops" 或 "desktops" 的销量百分比。利用之前索引的数据，在左侧菜单新建一个 "饼图 (Pie Chart)" 。
您可以在 饼图 (Pie Chart)的页面上配置。将 " Count " 作为切片的大小，并在 " buckets " 部分中选择 " split slices " 。将 " filters " 作为聚合类型，添加两个过滤器：tags ="laptop" 和 tags ="desktoptops" 。单击运行，您将看到类似于下图：
确保在搜索栏中输入包含已过滤的项目的搜索关键词，并注意到可视化图形如何变化。
在简要介绍Elasticsearch和Kibana之后，我们来看看我们如何用 .Net 应用程序索引和查询我们的文档。
您可能想知道为什么要这样做，而不是直接使用 HTTP API 。我可以提供几个理由，我相信你可以自己找几个：
首先需要注意的是打开 这个文档 ,有两个官方提供的 APIs : Elasticsearch.Net 和 NEST ，都支持 .Net Core 项目。
由于我使用的是 NEST，所以第一步是创建一个新的 ASP .Net Core 应用程序，并使用 Package Manager 安装NEST。
我们将在新的 ASP.Net Core 应用程序中完成之前手动发送 HTTP 请求的一些步骤。如果需要，请重新启Docker 容器，从而清理数据；或通过 HTTP API 和 Postman 手动删除文档/索引。
我们首先为产品创建一个POCO模型：
public class Product
{
public Guid Id { get; set; }
public string Name { get; set; }
public string Description { get; set; }
public string[] Tags { get; set; }
}接下来，我们创建一个新的控制器 ProductController，它具有添加新的 "Product" 的方法和基于单个关键词查找 "Product" 的方法：
[Route("api/[controller]")]
public class ProductController : Controller
{
[HttpPost]
public async Task< IActionResult > Create([FromBody]Product product)
{
}
[HttpGet("find")]
public async Task< IActionResult > Find(string term)
{
}
}为了实现这些方法，我们需要先连接到 Elasticsearch。这里有一个 ElasticClient 连接的正确示范。 由于该类是线程安全的，所以推荐的方法是在应用程序中使用单例模式，而不是按请求创建新的连接。
为了简洁起见，我现在将使用带有硬编码设置的私有静态变量。在 .Net Core 中使用依赖注入配置框架，或查看 Github中 的代码。
可以想到的是，至少需要提供被连接的 Elasticsearch 集群的URL。当然，还有其他可选参数，用于与您的群集进行身份验证、设置超时、连接池等。
private static readonly ConnectionSettings connSettings =
new ConnectionSettings(new Uri("http://localhost:9200/"));
private static readonly ElasticClient elasticClient =
new ElasticClient(connSettings);建立连接后，索引文档只是简单地使用 ElasticClient 的Index/IndexAsync 方法：
[Route("api/[controller]")]
public class ProductController : Controller
{
[HttpPost]
public async Task<IActionResult> Create([FromBody]Product product)
{
}
[HttpGet("find")]
public async Task<IActionResult> Find(string term)
{
}
}很简单，对吧？不幸的是，如果您向Postman发送以下请求，您将看到失败。
POST http://localhost:65113/api/product
{
"name": "Dell XPS 13",
"description": "Latest Dell XPS 13",
"tags": ["laptops", "windows"]
}这是因为NEST无法确定在索引文档时使用哪个索引！如果您想起手动使用 HTTP API 的做法，那么需要在URL指出文档的索引、文档的类型和ID，如 localhost:9200/default/product/1
NEST能够推断文档的类型（使用类的名称），还可以默认对字段进行索引（基于字段的类型），但需要一些索引名称的帮助。您可以指定默认的索引名称，以及特定类型的特定索引名称。
connSettings = new ConnectionSettings(new Uri("http://192.168.99.100:9200/"))
.DefaultIndex("default")
//Optionally override the default index for specific types
.MapDefaultTypeIndices(m => m
.Add(typeof(Product), "default"));进行这些更改后再试一次。您将看到 NEST 创建索引(如果尚未存在)，并将文档编入索引。如果你切换到 Kibana，你也可以看到该文档。需要注意的是:
在我们查询数据之前，重新考虑创建索引的方式。
如何创建索引?
现在我们得到一个事实，即如果这个索引不存在，也会被创建。然而映射字段的索引方式很重要，并直接定义了 Elasticsearch 如何索引和分析这些字段。这对于字符串字段尤其明显，因为在 Elasticsearch v5 中提供了两种不同字段类型的 "Text" 和 "Keyword"：
您可以使用 NEST 索引映射属性来生成POCO模型：
public class Product
{
public Guid Id { get; set; }
[Text(Name="name")]
public string Name { get; set; }
[Text(Name = "description")]
public string Description { get; set; }
[Keyword(Name = "tag")]
public string[] Tags { get; set; }
}然而，我们需要先创建索引，必须使用 ElasticClient API 手动创建和定义索引的映射。这是非常简单的，特别是如果我们只是使用属性：
if (!elasticClient.IndexExists("default").Exists)
{
elasticClient.CreateIndex("default", i => i
.Mappings(m => m
.Map<Product>(ms => ms.AutoMap())));
}直接向Elasticsearch发送请求(GET localhost:92000/default)，并注意与我们想要的映射是否相同。
现在，我们有一个使用 NEST 对 "products" 进行索引的 ProductController 控制器。是时候，为这个控制器添加 Find action，用于使用 NEST 向 Elasticsearch 查询文档。
我们只是用到一个字段来实现一个简单的搜索。您应该观察所有字段:
NEST 提供了一个查询 Elasticsearch 的丰富 API，可以转换成标准的 HTTP API 。实现上述查询类型与使用Search/SearchAsync方法一样简单，并构建一个 SimpleQueryString 作为参数。
[HttpGet("find")]
public async Task<IActionResult> Find(string term)
{
var res = await elasticClient.SearchAsync<Product>(x => x
.Query( q => q.
SimpleQueryString(qs => qs.Query(term))));
if (!res.IsValid)
{
throw new InvalidOperationException(res.DebugInformation);
}
return Json(res.Documents);
}使用PostMan测试您的新操作：
正如您可能已经意识到的那样，我们的操作行为与手动发送请求到 Elasticsearch 一样：
GET http://localhost:9200/default/_search?q=*&现在我们了解了 NEST 的一些基础知识，让我们尝试一些更有野心的事情。我们已经创建了一个 ASP.Net Core 的应用程序，借助.NET Core的日志框架，实现我们的日志提供程序，并将信息发送到Elasticsearch。
新的日志 API 在日志 (logger) 和日志提供程序 (logger provider) 方面的区别：
该日志框架内置了一些对事件日志、Azure 等的日志提供程序 (provider)，但正如您将看到的，创建自己的并不复杂。有关详细信息，请查阅.NET Core 关于日志的官方文档。
在本文的最后部分，我们将为Elasticsearch创建一个新的日志提供程序，在我们的应用程序中启用它，并使用Kibana来查看记录的事件。
首先要做的是定义一个新的POCO对象，我们将使用它作为使用NEST进行索引的文档，类似于之前创建的 "Product" 类。
这将包含有关可能发生的任何异常以及相关请求数据的记录信息、可选信息。记录请求数据将会派上用场，因为我们可以根据具体请求查询/可视化我们记录的事件。
public class LogEntry
{
public DateTime DateTime { get; set; }
public EventId EventId { get; set; }
[Keyword]
[JsonConverter(typeof(StringEnumConverter))]
public Microsoft.Extensions.Logging.LogLevel Level { get; set; }
[Keyword]
public string Category { get; set; }
public string Message { get; set; }
[Keyword]
public string TraceIdentifier { get; set; }
[Keyword]
public string UserName { get; set; }
[Keyword]
public string ContentType { get; set; }
[Keyword]
public string Host { get; set; }
[Keyword]
public string Method { get; set; }
[Keyword]
public string Protocol { get; set; }
[Keyword]
public string Scheme { get; set; }
public string Path { get; set; }
public string PathBase { get; set; }
public string QueryString { get; set; }
public long? ContentLength { get; set; }
public bool IsHttps { get; set; }
public IRequestCookieCollection Cookies { get; set; }
public IHeaderDictionary Headers { get; set; }
[Keyword]
public string ExceptionType { get; set; }
public string ExceptionMessage { get; set; }
public string Exception { get; set; }
public bool HasException { get { return Exception != null; } }
public string StackTrace { get; set; }
}下一步是在一个新类上实现ILogger接口。如您所想，这将需要记录的数据映射到一个新的 LogEntry 对象，并使用 ElasticClient 对其进行索引。
在这里就不写连接到Elasticsearch并创建索引的代码，这与之前的操作，没有什么不同。使用不同的索引或删除上一节中索引的 "products" 。
注意： 您可以使用依赖注入和配置文检查 Github 中 的配套代码。
实现的主要方法是Log <TState>，这是我们创建一个LogEntry并用NEST进行索引：
public void Log< TState >(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func< TState, Exception, string > formatter)
{
if (!IsEnabled(logLevel)) return;
var message = formatter(state, exception);
var entry = new LogEntry
{
EventId = eventId,
DateTime = DateTime.UtcNow,
Category = _categoryName,
Message = message,
Level = logLevel
};
var context = _httpContextAccessor.HttpContext;
if (context != null)
{
entry.TraceIdentifier = context.TraceIdentifier;
entry.UserName = context.User.Identity.Name;
var request = context.Request;
entry.ContentLength = request.ContentLength;
entry.ContentType = request.ContentType;
entry.Host = request.Host.Value;
entry.IsHttps = request.IsHttps;
entry.Method = request.Method;
entry.Path = request.Path;
entry.PathBase = request.PathBase;
entry.Protocol = request.Protocol;
entry.QueryString = request.QueryString.Value;
entry.Scheme = request.Scheme;
entry.Cookies = request.Cookies;
entry.Headers = request.Headers;
}
if (exception != null)
{
entry.Exception = exception.ToString();
entry.ExceptionMessage = exception.Message;
entry.ExceptionType = exception.GetType().Name;
entry.StackTrace = exception.StackTrace;
}
elasticClient.Client.Index(entry);
}您还需要额外实现 BeginScope 和 IsEnabled 方法。
你可能会问为什么需要分类？这是一个用于标识日志是哪种类型的字符串。默认情况下，每次注入ILogger <T>的实例时，该类别默认分配为T的分类名称。例如，获取ILogger <MyController>并使用它来记录某些事件，意味着这些事件将具有 "MyController " 名称。
这可能派上用场，例如为不同的类设置不同的日志级别，以过滤/查询记录的事件。我相信您可能还想到更多的用法。
这个类的实现将如下所示：
public class ESLoggerProvider: ILoggerProvider
{
private readonly IHttpContextAccessor _httpContextAccessor;
private readonly FilterLoggerSettings _filter;
public ESLoggerProvider(IServiceProvider serviceProvider, FilterLoggerSettings filter = null)
{
_httpContextAccessor = serviceProvider.GetService<IHttpContextAccessor>();
_filter = filter ?? new FilterLoggerSettings
{
{"*", LogLevel.Warning}
};
}
public ILogger CreateLogger(string categoryName)
{
return new ESLogger(_httpContextAccessor, categoryName, FindLevel(categoryName));
}
private LogLevel FindLevel(string categoryName)
{
var def = LogLevel.Warning;
foreach (var s in _filter.Switches)
{
if (categoryName.Contains(s.Key))
return s.Value;
if (s.Key == "*")
def = s.Value;
}
return def;
}
public void Dispose()
{
}
}最后，我们创建一个扩展方法，可以用于在启动类中注册我们的日志提供程序：
public static class LoggerExtensions
{
public static ILoggerFactory AddESLogger(this ILoggerFactory factory, IServiceProvider serviceProvider, FilterLoggerSettings filter = null)
{
factory.AddProvider(new ESLoggerProvider(serviceProvider, filter));
return factory;
}
}
public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory)
{
loggerFactory.AddConsole(Configuration.GetSection("Logging"))
.AddDebug()
.AddESLogger(app.ApplicationServices, new FilterLoggerSettings
{
{"*", LogLevel.Information}
});
…
}请注意我如何覆盖默认设置并按日志级别分类记录。这样，我们可以轻松地为每个请求索引一些事件。
现在我们已经在Kibana中记录了事件，我们来探索数据可视化吧！
首先，在Kibana中重建索引，这次确保选择" Index contains time-based events ( Index包含基于时间的事件 )"，选择字段dateTime作为"Time-field name (时间字段名称)"。
接下来，启动您的应用程序，浏览一些页面以获取一些事件日志。还可以在某个端点随意添加抛出异常的代码，以便我们可以看到被记录的异常数据。
在这之后，请转到Kibana的 发现 (Discover) 页面，您可以看到由 "dateTime" 字段排序的多个事件（默认情况下，数据被过滤为最近15分钟，但您可以在右上角更改）：
试着在搜索栏中输入 "exception"，并注意任何一个被分析的文本字段中包含 "exception" 的事件。然后尝试搜索特定的异常类型（记住我们使用了一个关键字字段！）。
您还可以尝试搜索特定的URL，如以 " /Home/About "和" /Home/About" 路径的两种搜索方式 。您会注意到第一种情况包括引用者是 "/Home/About" 的事件，而第二种情况则只能正确返回路径为 "/Home/About" 的事件。
一旦你熟悉了数据，以及如何查询数据，那么可以用数据创建一些有趣的图形。
首先，我们将创建一个图表，显示每分钟记录的异常数。
一个很棒的图表，显示每分钟记录的异常数目：
接下来，显示每个 category 随时间记录的消息数量，限于前5个 category ：
这将绘制类似于以下的图表：
尝试在搜索框中添加一些过滤器，并查看它对结果的影响。
最后，我们添加另一个图表，我们将看到前五个出现最多的消息和前五个 categories 的消息。
花时间观察下数据(百分比，message/category 显示在图表元素上)。例如，您将观察到由
DeveloperExceptionPageMiddleware类记录的异常。
Elasticsearch是一个强大的数据索引和查询平台。虽然它本身相当令人印象深刻，但与其他应用程序（如Kibana）相结合，可以很好地分析、报告和可视化数据。只要您开始使用，只是蜻蜓点水都能的到非凡的结果。
对于 .Net 和 .Net Core，Elasticsearch 官方的 API 已经覆盖，因为它们支持 .Net Standard 1.3和更高版本（他们仍然在为1.1提供支持）。
正如我们已经看到的，在 ASP.Net Core 项目中使用这个 API 是很方便的，我们可以轻松地将其 REST API 作为存储，以及在应用程序中作为日志提供程序。
最后但并非不重要的一点，我希望您使用Docker。尝试使用 Elasticsearch，同时思考Docker可以为您和您的团队做些什么。
下载本文的全部源代码(Github)。
[翻译] 使用ElasticSearch，Kibana，ASP.NET Core和Docker可视化数据
标签：toolbox each nal 运行 整合 logstash page 简洁 实现
原文地址：http://www.cnblogs.com/chenug/p/6681891.html
