ABP使用ElasticSearch、Kibana、Docker进行日志收集

ABP 使用ElasticSearch、Kibana、Docker 进行日志收集

后续会根据公司使用的技术，进行技术整理分享，都是干货哦别忘了关注我！！！

最近领导想要我把项目日志进行一个统一收集，因为现在环境有什么报错信息都是看Logs文件夹的日志数据，如果只有一个项目那到无所谓，但是我们现在的服务进行了模块拆分，所以看日志需要一个一个的找不方便，之前我有接触过Seq、ElasticSearch进行日志收集统一查看。

技术点

• ElasticSearch

ElasticSearch 是一个非常适合索引日志和分析数据的开源数据库。

• Kibana

Kibana 是 ElasticSearch 的开源数据可视化用户界面。将 ElasticSearch 视为数据库，将 Kibana 视为 Web 用户界面，您可以使用它在 ElasticSearch 中构建图形和查询数据。

• Serilog

Serilog 是一个用于 ASP.NET Core 的插件，它使日志记录变得容易。Serilog 有多种可用的接收器 - 例如，您可以获得纯文本、SQL 和 ElasticSearch 接收器等等。

为什么用ElasticSearch（当然后面也会介绍Seq）

• 它是免费和开源

基本功能是免费的，大部分都是免费的。如果您需要 Kibana 中的安全和警报功能，您可以购买 Kibana 的商业 X-pack 订阅，也可以安装一些开源替代品。

• RESTful API

查询结果以 JSON 格式返回，这意味着结果易于使用。通过 RESTful API 查询和插入数据意味着可以轻松使用任何编程语言来处理 ElasticSearch。

• 易于查询

ElasticSearch 有一个基于 Apache Lucene 的内置全文搜索引擎。与其他数据库相比，Lucene 易于查询。即使是非技术人员也可以编写常见查询。

• 速度很快 - 非常快

查询大型 SQL 数据库可能需要 10 或 20 秒。大型 ElasticSearch 数据库上的类似查询通常会在 10 毫秒内返回结果。

• 它是可扩展

它很容易扩展。再加上它是开源的，这意味着它在钱包上也很容易。

• 易于设置

只需启动一个包含 ElasticSearch 和 Kibana 容器的 docker compose 文件，您就可以开始记录和搜索了。

Docker搭建Elasticsearch 和 Kibana环境

这里我们使用了docker-compose所以我们需要安装docker-compose然后创建一个 docker-compose.yml 文件。

mkdir -p home/docker/docker-composecd home/docker/docker-compose

创建一个名为 docker-compose.yml 的新文件

vi docker-compose.yml

docker-compose.yml文件内容

• 设置es内存,java程序一般很吃内存,根据服务器配置进行调优- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
• kibana汉化(7.0以上版本),根据个人情况决定- output.i18n.locale="zh-CN"

version: '3.1'services:  elasticsearch:   container_name: elasticsearch   hostname: elasticsearch   image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2   restart: always   ports:    - 9200:9200    - 9300:9300   volumes:    - elasticsearch-data:/usr/share/elasticsearch/data   environment:    - xpack.monitoring.enabled=true    - xpack.watcher.enabled=false    - "ES_JAVA_OPTS=-Xms512m -Xmx512m"    - discovery.type=single-node  kibana:   container_name: kibana   hostname: kibana   image: docker.elastic.co/kibana/kibana:7.9.2   restart: always   ports:    - 5601:5601   depends_on:    - elasticsearch   environment:    - ELASTICSEARCH_URL=http://localhost:9200volumes:  elasticsearch-data:

运行 docker-compose.yml 文件

容器启动之后需要等待一会，因为初始化需要一段时间

# 构建启动容器  -d 后台运行docker-compose up -d# 停止up 命令所启动的容器，并移除网络docker-compose down

验证环境

• 验证 Elasticsearch 是否已启动并正在运行,我们可以访问http://localhost:9200(就是我们刚才开放Elasticsearch的9200端口)

• 验证 Kibana 是否已启动并正在运行,我们可以访问http://localhost:5601(就是我们刚才开放Kibana的5601端口)

使用Abp配合Serilog 记录日志到 Elasticsearch

• Serilog 包添加到项目中

  • Serilog.AspNetCore
  • Serilog.Enrichers.Environment
  • Serilog.Sinks.Debug
  • Serilog.Sinks.ElasticSearch
  • Serilog.Exceptions

• appsettings.json 中添加 Serilog 日志和Elasticsearch地址

{  // Serilog 日志配置  "Serilog": {    "MinimumLevel": {      "Default": "Information",      "Override": {        "Microsoft": "Information",        "System": "Warning"      }    }  },  // Elasticsearch地址  "ElasticConfiguration": {    "Uri": "http://localhost:9200"  },  "AllowedHosts": "*"}

在 Program.cs 中配置日志记录

接下来，通过添加以下 using 语句在 Program.cs 中配置日志记录：

using Microsoft.AspNetCore.Hosting;using Microsoft.Extensions.Configuration;using Microsoft.Extensions.Hosting;using Serilog;using Serilog.Sinks.Elasticsearch;using System;using System.Reflection;using Serilog.Exceptions;

接下来，设置 main 方法。我们要做的是在创建主机之前设置日志记录。这样，如果主机无法启动，我们可以记录任何错误。

public static void Main(string[] args){	// 配置日志信息	ConfigureLogging();	// 然后创建主机，这样如果主机出现故障，我们就可以记录错误 	CreateHost(args);}

然后，在 program.cs 中添加 ConfigureLogging 和 ElasticsearchSinkOptions 方法

private static void ConfigureLogging(){	var environment = Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT");	var configuration = new ConfigurationBuilder()		.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true)		.AddJsonFile(			$"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",			optional: true)		.Build();	Log.Logger = new LoggerConfiguration()		.Enrich.FromLogContext()                .Enrich.WithExceptionDetails()		.Enrich.WithMachineName()		.WriteTo.Debug()		.WriteTo.Console()		.WriteTo.Elasticsearch(ConfigureElasticSink(configuration, environment))		.Enrich.WithProperty("Environment", environment)		.ReadFrom.Configuration(configuration)		.CreateLogger();}private static ElasticsearchSinkOptions ConfigureElasticSink(IConfigurationRoot configuration, string environment){	return new ElasticsearchSinkOptions(new Uri(configuration["ElasticConfiguration:Uri"]))	{                // 自动创建模块		AutoRegisterTemplate = true,                // 创建索引（如果不设置默认就是logstash-2022.03.06这种时间格式的）		IndexFormat = $"{Assembly.GetExecutingAssembly().GetName().Name.ToLower().Replace(".", "-")}-{environment?.ToLower().Replace(".", "-")}"	};}

最后，添加 CreateHost 和 CreateHostBuilder 方法。请注意 CreateHostBuilder 周围的 try/catch 块。

private static void CreateHost(string[] args){	try	{		CreateHostBuilder(args).Build().Run();	}	catch (System.Exception ex)	{		Log.Fatal($"Failed to start {Assembly.GetExecutingAssembly().GetName().Name}", ex);		throw;	}}public static IHostBuilder CreateHostBuilder(string[] args) =>	Host.CreateDefaultBuilder(args)		.ConfigureWebHostDefaults(webBuilder =>		{			webBuilder.UseStartup<Startup>();		})		.ConfigureAppConfiguration(configuration =>		{			configuration.AddJsonFile("appsettings.json", optional: false, reloadOnChange: true);			configuration.AddJsonFile(				$"appsettings.{Environment.GetEnvironmentVariable("ASPNETCORE_ENVIRONMENT")}.json",				optional: true);		})		.UseSerilog();

然后运行一次你的程序，让它自动创建好索引信息，后面我们就只需要配置了

kibana配置信息

• 点击进入默认管理空间

• 管理空间配置

Kibana 目前还不会显示任何日志。您必须先指定索引，然后才能查看记录的数据。
这里就可以看到logstash就是我们创建的索引（我之前没有设置索引所以就默认是logstash-2022.03.06）

输入你的索引模式。它将显示刚刚创建的索引模式。您可以键入整个索引，或使用通配符。

在下一页上，选择 @timestamp 字段作为时间过滤器字段名称，然后单击创建索引模式按钮。

您现在可以通过单击导航窗格中的 Discover 链接来查看日志。

我们程序中打出来的日志就会被收集到这里，这里我就不演示怎么写打日志的代码了哈。（刚才上厕所尿劈叉了）

配置日志过期策略

因为我们的日志信息一般都不需要保留很长的时间。（一般保存3天左右就够了,过期的日志将自动清除，这样也能减少我们日志内存的消耗）

• 记得关掉热阶段的滚动更新
• 开启删除阶段，设置过期时间，快照可以不用

关联索引策略模式

选择我们刚才设置的策略模块，进行关联。（这样我们的日志就会自动释放啦）