Linux下Logstash与Elasticsearch集成

Logstash、Elasticsearch 和 Kibana（简称 ELK Stack）是一套开源的日志管理工具

1. 安装 Logstash：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Logstash。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Logstash 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
sudo apt update
sudo apt install logstash

2. 配置 Logstash：

创建一个新的 Logstash 配置文件（例如：/etc/logstash/conf.d/logstash-elasticsearch.conf），并添加以下内容：

input {
  file {
    path => "/path/to/your/log/files/*.log"
    start_position => "beginning"
  }
}

filter {
  # 根据你的日志格式添加相应的过滤器
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "your_index_name-%{+YYYY.MM.dd}"
  }
}

这个配置文件定义了一个输入（从文件中读取日志）、一个过滤器（解析日志格式）和一个输出（将解析后的日志发送到 Elasticsearch）。

3. 安装 Elasticsearch：

在 Linux 系统上，你可以使用包管理器（如 apt 或 yum）来安装 Elasticsearch。以下是在基于 Debian 的系统（如 Ubuntu）上安装 Elasticsearch 的命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
sudo apt update
sudo apt install elasticsearch

4. 配置 Elasticsearch：

编辑 Elasticsearch 的配置文件（例如：/etc/elasticsearch/elasticsearch.yml），并添加以下内容：

network.host: localhost
http.port: 9200

5. 启动 Logstash 和 Elasticsearch：

在命令行中运行以下命令来启动 Logstash 和 Elasticsearch：

sudo systemctl start logstash
sudo systemctl start elasticsearch

现在，Logstash 已经与 Elasticsearch 集成，并开始从日志文件中读取数据并将其发送到 Elasticsearch。你可以使用 Kibana 来可视化和分析这些数据。