ログデータの解析

Grokパターンは事前定義された構文に従います。

%{PATTERN_NAME[:OPTIONAL_EXTRACTED_ATTRIBUTE_NAME[:OPTIONAL_TYPE[:OPTIONAL_PARAMETER]]]}

対象箇所：

• PATTERN_NAME は、サポートされているGrokパターンの1 つです。パターン名は、正規表現を表すユーザーフレンドリな名前です。これらは対応する正規表現とまったく同じです。
• OPTIONAL_EXTRACTED_ATTRIBUTE_NAMEを指定した場合、パターン名と一致する値とともにログメッセージに追加される属性の名前です。これは、正規表現を使用して名前付きキャプチャグループを使用するのと同じです。これが指定されていない場合、解析ルールは文字列の領域のみを照合し、属性とその値を抽出しません。
• OPTIONAL_TYPE は、抽出する属性値のタイプを指定します。省略すると、値は文字列として抽出されます。インスタンスの場合、値123 "File Size: 123"から数値として属性file_sizeに抽出するには、 value: %{INT:file_size:int}を使用します。
• OPTIONAL_PARAMETER は、特定のタイプに対してオプションのパラメーターを指定します。現在、パラメーターを受け取るのはdatetime型のみです。詳細については、以下を参照してください。

OPTIONAL_TYPEフィールドは、抽出する属性値のタイプを指定します。省略すると、値は文字列として抽出されます。

サポートされているタイプは次のとおりです：

複数行のログがある場合は、GREEDYDATA Grokパターンが改行と一致しないことに注意してください（.*に相当します）。

したがって、%{GREEDYDATA:some_attribute}を直接使用するのではなく、その前に複数行フラグを追加する必要があります。 (?s)%{GREEDYDATA:some_attribute}

New Relic Logs パイプラインはデフォルトでログの JSON メッセージを解析しますが、プレーン テキストと混在する JSON ログメッセージが含まれる場合があります。 このような状況では、それらを解析し、JSON 属性を使用してフィルタリングできるようにすることが必要な場合があります。その場合は、 json Grokタイプを使用できます。これは、GrokパターンによってキャプチャされたJSONを解析します。この形式は、Grok構文、解析されたJSON属性に割り当てるプレフィックス、およびjson Grok型の3 つの主要部分に依存します。json Grokタイプを使用すると、適切にフォーマットされていないログからJSONを抽出して解析できます。たとえば、ログの先頭に日付/時刻文字列が付いている場合などです。

2015-05-13T23:39:43.945958Z {"event": "TestRequest", "status": 200, "response": {"headers": {"X-Custom": "foo"}}, "request": {"headers": {"X-Custom": "bar"}}}

このログ形式からJSONデータを抽出して解析するには、次のGrok式を作成します。

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json}

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

オプションkeepAttributesまたはdropAttributesを使用して、抽出または削除する属性のリストを定義できます。たとえば、次のGrok式の場合：

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"keepAttributes": ["my_attribute_prefix.event", "my_attribute_prefix.response.headers.X-Custom"]})}

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request.headers.X-Custom: "bar"

my_attribute_prefixプレフィックスを省略したい場合は、設定に"noPrefix": trueを含めることができます。

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true})}

my_attribute_prefixプレフィックスを省略し、 status属性のみを保持する場合は、設定に"noPrefix": trueと"keepAttributes: ["status"]を含めることができます。

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true, "keepAttributes": ["status"]})}

JSONがエスケープされている場合は、isEscapedオプションを使用して解析できます。JSONがエスケープされてから引用符で囲まれている場合は、以下に示すように引用符も一致させる必要があります。たとえば、次のGrok式の場合：

%{TIMESTAMP_ISO8601:containerTimestamp} "%{GREEDYDATA:my_attribute_prefix:json({"isEscaped": true})}"

エスケープされたメッセージを解析することができます。

2015-05-13T23:39:43.945958Z "{\"event\": \"TestRequest\", \"status\": 200, \"response\": {\"headers\": {\"X-Custom\": \"foo\"}}, \"request\": {\"headers\": {\"X-Custom\": \"bar\"}}}"

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

json Grokタイプを設定するには、 :json(_CONFIG_)を使用します。

• json({"dropOriginal": true})：解析に使用されたJSONスニペットを削除します。true（デフォルト値）に設定すると、解析ルールによって元のJSONスニペットが削除されます。JSON属性はメッセージフィールドに残ることに注意してください。
• json({"dropOriginal": false})：抽出されたJSONペイロードが表示されます。falseに設定すると、完全なJSONのみのペイロードが上記のmy_attribute_prefixで指定された属性の下に表示されます。ここでもJSON属性がメッセージフィールドに残り、ユーザーにJSONデータの3つの異なるビューが提供されることに注意してください。3つのバージョンすべてを保存する必要がある場合は、ここではデフォルトのtrueを使用することをお勧めします。
• json({"depth": 62})：JSON値を解析する深さのレベル（デフォルトは62）。
• json({"keepAttributes": ["attr1", "attr2", ..., "attrN"]})：JSONから抽出される属性を指定します。指定されたリストは空にできません。この設定オプションが設定されていない場合は、すべての属性が抽出されます。
• json({"dropAttributes": ["attr1", "attr2", ..., "attrN"]})：JSONから削除する属性を指定します。この設定オプションが設定されていない場合、属性は削除されません。
• json({"noPrefix": true})：JSONから抽出された属性からプレフィックスを削除するには、このオプションをtrueに設定します。
• json({"isEscaped": true})：エスケープされたJSONを解析するには、このオプションをtrueに設定します（これは通常、JSONが文字列化されたときに表示されます。たとえば、{\"key\": \"value\"}）

システムがコンマ区切り値（CSV）ログを送信し、それをNew Relicで解析する必要がある場合は、GrokパターンによってキャプチャされたCSVを解析するcsv Grokタイプを使用できます。この形式は、Grok構文、解析されたCSV属性に割り当てるプレフィックス、およびcsv Grokタイプという3つの主要な部分に依存します。csv Grokタイプを使用すると、ログからCSVを抽出して解析できます。

例として次のCSVログ行を示します。

"2015-05-13T23:39:43.945958Z,202,POST,/shopcart/checkout,142,10"

そして、次の形の解析ルール：

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"]})}

ログは次のように解析されます：

log.timestamp: "2015-05-13T23:39:43.945958Z"
log.status: "202"
log.method: "POST"
log.url: "/shopcart/checkout"
log.time: "142"
log.bytes: "10"

「ログ」プレフィックスを省略する必要がある場合は、設定に"noPrefix": trueを含めることができます。

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "noPrefix": true})}

列の設定：

• CSV Grokタイプ設定（有効なJSONである必要があります）で列を示すことが必須です。
• 列名として「_」（アンダースコア）を設定することで、結果のオブジェクトからその列を削除し、任意の列を無視できます。

オプション設定のオプション：

「列」の設定は必須ですが、次の設定でCSVの解析を変更することができます。

• dropOriginal：（デフォルトはtrue）解析に使用されるCSVスニペットを削除します。true（デフォルト値）に設定すると、解析ルールによって元のフィールドが削除されます。
• noPrefix：（デフォルトはfalse）結果のオブジェクトのプレフィックスとしてGrokフィールド名を含めません。
• separator：（デフォルトは,）各列を分割する文字/文字列を定義します。
  • もう1つの一般的なシナリオはタブ区切り値（TSV）です。この場合、区切り文字として\tを指定する必要があります（例： %{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "separator": "\t"})
• quoteChar：（デフォルトは"）列の内容をオプションで囲む文字を定義します。

システムがIPv4アドレスを含むログを送信する場合、 New Relicはそれらを地理的に特定し、指定された属性でログイベントを強化することができます。geo Grokタイプを使用すると、GrokパターンによってキャプチャされたIPアドレスの位置が検索されます。この形式は、IPの都市、国、緯度/経度など、住所に関連する1つ以上のフィールドを返すように設定できます。

次のログ行を例に挙げます。

2015-05-13T23:39:43.945958Z 146.190.212.184

そして、次の形の解析ルール：

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:ip:geo({"lookup":["city","region","countryCode", "latitude","longitude"]})}

ログは次のように解析されます。

ip: 146.190.212.184
ip.city: North Bergen
ip.countryCode: US
ip.countryName: United States
ip.latitude: 40.793
ip.longitude: -74.0247
ip.postalCode: 07047
ip.region: NJ
ip.regionName: New Jersey
containerTimestamp:2015-05-13T23:39:43.945958Z
ISO8601_TIMEZONE:Z

Lookup設定：

geoアクションによって返される必要なlookupフィールドを指定することが必須です。以下のオプションから少なくとも1つの項目が必要です。

• city：都市名
• countryCode：国の略称
• countryName：国名
• latitude：緯度
• longitude：経度
• postalCode：郵便番号、ZIPコード、または類似の番号
• region：州、県、または地域の略語
• regionName：州、県、または地域の名前

New Relic Logsパイプラインはデフォルトでログメッセージを解析しますが、キーの値のペアとしてフォーマットされたログメッセージが存在する場合があります。この状況では、それらを解析して、キーと値の属性を使用してフィルタリングできるようにする必要がある場合があります。

その場合は、grokパターンによってキャプチャされたキーと値のペアを解析するkeyvalue grokタイプを使用できます。この形式は、grok構文、解析されたキーと値の属性に割り当てるプレフィックス、およびkeyvalue grokタイプという3つの主要な部分に依存します。keyvalue grokタイプを使用すると、適切にフォーマットされていないログからキーの値のペアを抽出して解析できます。たとえば、ログの先頭に日付/時刻文字列が付いている場合などです。

2015-05-13T23:39:43.945958Z key1=value1,key2=value2,key3=value3

このログ形式からキーの値データを抽出して解析するには、次のGrok式を作成します。

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue()}

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
  my_attribute_prefix.key1: "value1"
  my_attribute_prefix.key2: "value2"
  my_attribute_prefix.key3: "value3"

カスタム区切り文字と区切り文字を定義して、必要なキーの値のペアを抽出することもできます。

2015-05-13T23:39:43.945958Z event:TestRequest request:bar

たとえば、次のGrok式の場合：

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue({"delimiter": " ", "keyValueSeparator": ":"})}

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request: "bar"

my_attribute_prefixプレフィックスを省略したい場合は、設定に"noPrefix": trueを含めることができます。

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"noPrefix": true})}

結果のログは次のようになります。

containerTimestamp: "2015-05-13T23:39:43.945958Z"
event: "TestRequest"
request: "bar"

カスタム引用符文字プレフィックスを設定する場合は、設定に「quoteChar」を含めることができます。

2015-05-13T23:39:43.945958Z nbn_demo='INFO',message='This message contains information with spaces ,sessionId='abc123'

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"quoteChar": "'"})}

結果のログは次のようになります。

"my_attribute_prefix.message": "'This message contains information with spaces",
"my_attribute_prefix.nbn_demo": "INFO",
"my_attribute_prefix.sessionId": "abc123"

Grokパターンの問題

ログ形式に合わせて、次のオプションを使用して解析動作をカスタマイズできます。

• 区切り文字

  • 説明：各キーの値のペアを区切る文字列。
  • デフォルト値： ,（カンマ）
  • オーバーライド：この動作を変更するには、フィールドdelimiterを設定します。

• keyValueSeparator

  • 説明：キーに値を割り当てるために使用される文字列。
  • デフォルト値： =
  • オーバーライド：カスタム区切り文字を使用するためにフィールドkeyValueSeparatorを設定します。

• quoteChar

  • 説明：スペースまたは特殊文字を含む値を囲むために使用される文字。
  • デフォルト値： "（二重引用符）
  • オーバーライド：quoteCharを使用してカスタム文字を定義します。

• dropOriginal

  • 説明：解析後に元のログメッセージを削除します。ログの保存容量を削減するのに役立ちます。
  • デフォルト値： true
  • オーバーライド：元のログメッセージを保持するには、 dropOriginalをfalseに設定します。

• noPrefix

  • 説明：trueの場合、結果のオブジェクトのプレフィックスとしてGrokフィールド名を除外します。
  • デフォルト値： false
  • オーバーライド：noPrefixをtrueに設定して有効にします。

• escapeChar

  • 説明：特殊なログ文字を処理するためのカスタムエスケープ文字を定義します。
  • デフォルト値： ""（バックスラッシュ）
  • オーバーライド：escapeCharでカスタマイズします。

• rimValues

  • 説明：空白を含む値をトリミングできます。
  • デフォルト値： false
  • オーバーライド：トリミングを有効にするには、 trimValuesをtrueに設定します。

• trimKeys

  • 説明：空白を含むキーをトリミングできます。
  • デフォルト値： true
  • オーバーライド：トリミングを有効にするには、 trimKeysをtrueに設定します。

New Relic は次のGrokパターンをサポートしています。

• IP
• TIMESTAMP_ISO8601
• HTTPDATE
• 時間
• UUID
• MONTH
• SPACE
• DATESTAMP
• 日付
• COMBINEDAPACHELOG
• ISO8601_TIMEZONE
• MAC
• DATE_EU
• TZ
• DATE_US
• DAY
• ログレベル
• 数
• INT
• QUOTEDSTRING
• SYSLOGTIMESTAMP
• PATH
• SYSLOGBASE
• COMMONAPACHELOG
• IPV6
• COMMONMAC
• DATESTAMP_OTHER
• ISO8601_SECOND
• DATESTAMP_EVENTLOG
• SYSLOGBASE2
• HAPROXYHTTP
• RUBY_LOGGER
• WINDOWSMAC
• WORD
• データ
• GREEDYDATA
• NOTSPACE
• BASE16FLOAT
• QS
• BASE10NUM
• ユーザー
• IPORHOST
• ユーザー名
• IPV4
• MONTHDAY
• YEAR
• HOSTNAME
• POSINT
• URIPATHPARAM
• URI
• URIPATH
• MONTHNUM
• NONNEGINT
• MINUTE
• SECOND
• HOUR
• URIHOST
• URIPROTO
• URIPARAM
• SYSLOGHOST
• BASE16NUM
• SYSLOGPROG
• ホスト
• HOSTPORT
• JAVACLASS
• PROG
• UNIXPATH
• WINPATH
• MONTHNUM2
• RUBY_LOGLEVEL
• SYSLOGFACILITY
• CRON_ACTION
• HAPROXYCAPTUREDREQUESTHEADERS
• HAPROXYCAPTUREDRESPONSEHEADERS
• HAPROXYDATE
• CISOMAC