Debian JS日志监控实操指南

一 架构与方案选型

• 应用侧：使用 Node.js 的日志库（如 winston、pino、morgan）输出结构化日志，便于检索与聚合。
• 运行侧：用 systemd 托管进程，统一标准输出/错误到 journald，便于集中查看与转发。
• 存储与可视化：小规模用 journald + rsyslog/filebeat 聚合到 ELK（Elasticsearch、Logstash、Kibana） 或 Graylog；中大规模建议直接走 filebeat → Logstash/Elasticsearch。
• 告警：在 Kibana 建立可视化与阈值告警，或在 Graylog 配置规则告警。

二 快速落地步骤

• 应用侧日志标准化
  • 安装日志库（示例为 winston）：npm i winston；如需按日轮转：npm i winston-daily-rotate-file。
  • 配置示例（写入文件 + 控制台，生产建议 JSON 格式）：
    • const winston = require(‘winston’);
      const { createLogger, format, transports } = winston;
      const DailyRotateFile = require(‘winston-daily-rotate-file’);
      const logger = createLogger({
      level: process.env.LOG_LEVEL || ‘info’,
      format: format.combine(format.timestamp({ format: ‘YYYY-MM-DD HH:mm:ss’ }), format.json()),
      transports: [
      new DailyRotateFile({
      filename: ‘logs/application-%DATE%.log’,
      datePattern: ‘YYYY-MM-DD’,
      zippedArchive: true,
      maxSize: ‘20m’,
      maxFiles: ‘14d’
      }),
      new transports.Console({ format: format.simple() })
      ]
      });
      logger.info(‘应用启动’, { pid: process.pid });
• 运行侧托管与实时查看
  • 创建 systemd 服务（/etc/systemd/system/jsapp.service）：
    • [Unit]
      Description=Node.js JS App
      After=network.target
      [Service]
      ExecStart=/usr/bin/node /opt/jsapp/app.js
      Restart=always
      User=www-data
      Environment=NODE_ENV=production
      StandardOutput=journal
      StandardError=journal
      SyslogIdentifier=jsapp
      [Install]
      WantedBy=multi-user.target
  • 启用与查看：
    • sudo systemctl daemon-reload
      sudo systemctl enable –now jsapp
      sudo journalctl -u jsapp -f
• 集中化与可视化
  • 方案A（轻量）：rsyslog/filebeat → Elasticsearch → Kibana（创建索引模式如 nodejs-*，在 Discover 中查看）。
  • 方案B（功能全）：Logstash 采集文件日志并写入 ES，Kibana 配置仪表盘与告警。

三 集中化与可视化配置要点

• Logstash 采集文件日志示例（/etc/logstash/conf.d/nodejs.conf）：
  • input {
    file {
    path => “/opt/jsapp/logs/*.log”
    start_position => “beginning”
    sincedb_path => “/var/lib/logstash/sincedb-nodejs”
    }
    }
    filter {

    可添加 grok/date 解析，若日志已是 JSON 可省略

    }
    output {
    elasticsearch {
    hosts => [“http://localhost:9200”]
    index => “nodejs-logs-%{+YYYY.MM.dd}”
    }
    }

  • 启动：sudo systemctl restart logstash
• Kibana 可视化
  • 访问 http://服务器IP:5601 → Management → Stack Management → Index Patterns → 创建索引模式 nodejs-logs-* → 选择时间字段（如 @timestamp）→ Discover 查看与构建图表。

四 日志轮转与容量控制

• 应用文件日志轮转
  • 使用 winston-daily-rotate-file 控制单文件大小与保留天数（见上例：maxSize、maxFiles），避免无限增长。
• 系统日志轮转
  • 使用 logrotate 管理 journal 或应用日志文件（/etc/logrotate.d/jsapp）：
    • /opt/jsapp/logs/*.log {
      daily
      rotate 14
      compress
      missingok
      notifempty
      copytruncate
      }
  • 测试与强制执行：
    • sudo logrotate -d /etc/logrotate.conf # 语法检查
      sudo logrotate -f /etc/logrotate.d/jsapp # 强制执行
• 资源与成本优化
  • 合理设置日志级别（如生产用 info/warn，调试再开 debug）。
  • 定期清理旧索引（ES 中设置 ILM 或 Curator），避免磁盘被历史数据占满。

五 常见问题与排查

• 权限问题：确保运行用户对日志目录（如 /opt/jsapp/logs）具备写权限；服务以 www-data 或专用用户运行。
• 日志未入库：检查 Logstash 输入路径、文件权限与 sincedb 位置；确认索引模式与时间字段匹配。
• 实时性差：journalctl 使用 -f 实时跟踪；文件日志用 tail -f；Kibana 刷新间隔与数据延迟需对齐。
• 磁盘告警：配置 logrotate 保留周期与压缩；监控 /var/log 与 ES 数据目录使用率，设置告警阈值。