您的公司可能会认出真实的价值可观察性,但你一直在努力使它成为现实。最大的挑战之一获得了在详细日志中捕获的每个设备的大脑和记忆的访问,因为日志需要大量存储卷并表示格式化的“狂野的西部”。传统的伐木解决方案很难实现,需要多种技术188bet亚洲体育和专用基础架构专家。此外,他们不能扩展并支持公司需要洞察力和查询答案的步伐。

我们开放,可扩展新的遗物一体平台使您可以轻松集成和使用您已经使用的工具。所以,除了使用新的遗物收集日志基础设施代理人,您也可以将日志数据摄入到新的遗物中遥测数据平台使用流利的位,Fluentd.亚马逊Kinesis数据Firehoselogstash.和各种其他人方法。但是,如果你想通过无代理人进一步简化你的生活,怎么办?

你可以用新的遗物一个人这样做通过rsyslog和syslog-ng转发syslog数据的本机支持。此新的TCP端点显着扩展可用于轻松摄取日志数据的选项,而无需安装,配置或维护第三方转发器。我们将首先概述Syslog,Syslog-NG和rsyslog,然后向您展示如何开始使用几个简单步骤发送日志数据。

syslog,syslog-ng和rsyslog有什么区别?

系统日志记录协议(或syslog)是用于将系统日志或事件消息发送到特定服务器的标准协议,称为syslog服务器。它主要用于从核心位置中收集来自多台机器的各种设备日志,用于监控和审查。工程团队已经使用Syslog协议数十年来传输消息。由于其寿命和流行度,大多数主要操作系统,包括麦斯卡斯,Linux和UNIX,支持Syslog协议。

Syslog-ng是一个免费的和开源实现UNIX和UNIX的系统的Syslog协议。它将原始Syslogd模型扩展了基于内容的过滤,丰富的过滤功能,灵活的配置选项,并为Syslog添加了重要功能,例如使用TCP进行运输。Syslog-ng是一个非常流行的工具,具有许多贡献者。它是广泛使用的,因为它的灵活性及其设置和配置的简单性。

rsyslog(for“Rocket-Fast”Syslog)是一个开源,基于UNIX的实用程序,用于在IP网络中收集,转换,过滤和路由日志消息 - 类似于更流畅的位的开源日志转发器。自2004年以来可用,rsyslog本日流行度可以部分地归因于其难以浮动;它是Ubuntu和Debian中的默认Syslog实用程序,可从多个Linux发行版中提供开箱即用。

因此,rsyslog通常是默认默认,当您的团队希望快速启动并运行日志管理程序时。它同样受到希望避免将第三方软件部署到敏感系统的安全性团队的欢迎。

以下是如何在三个简单的步骤中快速设置Syslog以将日志数据发送到新的遗物。

rsyslog入门

例如,我们将介绍从运行rsyslog的AWS上的新Ubuntu机器向新的Regs转发到新的遗物。

步骤1。安装以下包以允许RSYSLOG通过加密连接发送日志:

sudo apt-get install rsyslog-gnutls ca-certive

第2步。接下来,创建文本文件/etc/rsyslog.d/newrelic.conf.conf.。将以下内容添加到新创建的文本文件中,确保替换your_nr_insert_key.与你的新遗物Insights API插入键

#define新的遗物syslog格式$ deposite nrlogformat,“your_nr_insert_key <%pri%>%pri%>%prote version %% timestamp ::: date-rfc3339%%hostname%%app-name%%procid %% msgid %%结构化 -  data%%msg%\ n“#配置tls和日志转发到新遗物$ defaultnetstreamdrivercafile /etc/sl/certs/ca-certificates.crt #debian / Red hat(Rhel) -  $ defaultnetstreamdrivercafile / etc / pki / tls / certs / ca-bundle.crt $ defaultnetstreamdriver gtls $ actionsedrivermode 1 $ actionsendstreamdriverauthmode x509 / name $ actionsendstreamdriverpermittedpeer * .myslog.nr-data.net *。* @@ newrelic.syslog.nr-data.net:6514; nrlogformat

第3步。重新启动rsyslog以确保应用更改:

sudo service rsyslog重新启动

最后,您可以将消息直接写入Syslog以验证您的配置:

Logger“Hello World”

Log-Details-screenshot

特定日志的简单配置

以上步骤提供了一种简单的配置,该配置将转发rsyslog当前收集到新遗物的任何日志。让我们贯彻如何配置尾部特定日志文件。

步骤1。启用IMFile.模块允许rsyslog到尾部文件。如果尚未存在,请将以下内容添加到/etc/rsyslog.conf的模块部分:

$ modload imfile.

第2步。通过将以下内容添加到上一节中创建的Newrelic.conf文件的顶部,定义rsyslog应该尾部的文件

$ InputFileName / Var/Log/apache2/Access.log $ InputFiletag Apache_Access $ InputFiLestateFile Apache_State $ InputFileShiry Info $ InputRunFileMonitor

笔记:根据您的rsyslog版本,通配符在定义$ InputFileName时支持。

第3步。重新启动rsyslog并检查您的新遗物帐户以获取日志:

sudo service rsyslog重新启动

您可能会注意到使用上述配置时,rsyslog将从运行的主机发送两个系统日志,并且它已将其配置为尾部的日志。幸运的是,rsyslog使您只需使用所需的日志即可轻松过滤条件控制结构

例如,在newrelic.conf.conf.文件下面的文件,只有日志读取/var/log/apache2/access.log.将被送到新的遗物:

#tail apache访问日志$ inputfilename /var/log/apache2/access.log $ inputfileTag apache_access $ inputfilestatefile apache_state $ inputfilesmverity $ inputrunfilemonitor#define新的relic syslog格式$ template nrlogformat,“your_insert_key <%pri%>%protocts-version%%timestamp ::: date-rfc3339 %% hostname%app-name%%% procid %% msgid%computure-data%%% msg%\ n“#配置tls $ defaultnetstreamdrivercafile / etc / ssl / certs / ca-certive。crt $ defaultnetstreamdriver gtls $ actionstreamdrivermode 1 $ actionsteamdriverauthmode x509 / name $ actionsendstreamdriverpermitedpeer * .syslog.nr-data.net#转发apache访问日志到新的遗物。$ ProgramName的值对应于尾部配置中的#$ InputFiletag。如果$ programname =='apache_access'那么@@ newrelic.syslog.nr-data.net:6514; nrlogformat&〜

网络和安全设备日志

rsyslog通常用于从网络和安全设备中收集日志,如防火墙,其中大部分都有一个内置的syslog模块。这些设备的Syslog功能往往有限;您无法在它们上安装代理,并且数据转换几乎不可能。

rsyslog通过提供从网络设备接收Syslog流量的能力来桥接差距,根据需要将日志转换为自定义目标,例如新遗物。

我们首先启用IMUDP模块,允许rsyslog侦听传入的UDP流量。

步骤1。使能够imudp.通过将以下内容添加到/etc/rsyslog.conf的模块部分

$ modload imudp.

第2步。导航到/etc/rsyslog.d/,创建一个名为的新文件newrelic-firewall.conf.conf.,并添加以下内容,确保替换your_insert_key.与你的新遗物Insights API插入键

$ udpserveraddress 0.0.0.0#绑定UDP侦听器到localhost $ udpserverrun 9000#侦听UDP消息的端口9000。验证此端口是否对主机上的入站流量打开。#定义新的遗物syslog格式$ template nrlogformat,“your_insert_key <%pri%>%protocol%protoctor-version %% timestamp ::: date-rfc3339%%hostname%app-name%%%procid %% msgid %%结构化 -  data%%msg%\ n“#configure tls $ defaultnetstreamdrivercafile /etc/ssl/certs/ca-certificates.ca-certificates.crt $ $ defaceTnetstreamdriver gtls $ actionsendstreamdrivermode 1 $ actionsendstreamdriverauthmode x509 / name $ actionsendstreamdriverpermitedpeer * .syslog.nr-data.net#转发Cisco ASA日志对于新的遗物如果$ programname startswith'%asa'然后@@ newrelic.syslog.nr-data.net:6514; nrlogformat&〜

使用上述配置,您将发送到我们的主机的任何日志,以%ASA开头的程序名称将被发送到新的遗物。

确保可靠性

到目前为止,我们涵盖了如何使用rsyslog从一些不同的来源摄取日志数据。下一步是确保摄入的数据安全地到达目的地,这是其中的位置队列进来。

rsyslog提供四种队列模式:直接,磁盘,内存和磁盘辅助。磁盘辅助队列模式可能是最受欢迎的,因为它结合了内存和磁盘排队,以确保速度和可靠性。

要启用磁盘辅助排队,请编辑/etc/rsyslog.conf文件或在/etc/rsyslog.d/目录中使用以下内容创建文件:

$ workdirectory / var / spool / rsyslog#set spool文件位置$ actionqueueType linkedlist#启用linkedlist in-memory queue $ actionqueuemaxdiskspace 1g#max磁盘空间要分配给队列 - 根据需要的$ actionque $ actionutuefilename asa-01#spool filename前缀 -必须是唯一$ actionresumeretrycount -1#防止rsyslog删除目的地在目标不可达$ actionquequeahahonshutown On#,如果rsyslog关闭*。* @@ newrelic.syslog.nr-data.net:6514; nrlogformat#发送所有记录到新的遗物

一如既往,重新启动rsyslog以确保应用更改。

那么这对您的业务意味着什么?

将日志数据放入新的遗信遥测数据平台从未如此简单。除了开源转发器之外,我们自己的基础架构代理和通过我们的API发送数据,您现在可以使用Syslog客户端将日志传输到新的遗物。进入详细信息并进入设备行为的掘金的能力将有助于您减少平均检测和分辨率,并进一步移动一步到最终的可观察性。

因此,007代理人仍然可以根据需要提供,但他们现在可以在Syslog说“我有这个!”

注册新帐户开始免费发送最多100 GB /月的数据......永远。

Mike Neville-Onile是新的遗物测井团队的产品经理。他的专业利益包括不断变化的可观察性景观,DevOps,信息安全和基于日志的分析。查看帖子

对新遗物博客的写作有兴趣吗?188博彩体育网址送我们一个球场!!