NerdGraphチュートリアル: データをAWS Kinesis Firehose、Azure Event Hub、またはGCP Pub/Subにストリーミングする

Data Plusで利用可能なストリーミングエクスポート機能を使用すると、NRQLを使用してカスタムルールを作成し、エクスポートするデータを指定することで、AWS Kinesis Firehose、Azure イベント Hub、またはGCP Pub/Subにデータを送信できます。このガイドでは、NerdGraphを使用してストリーミングルールを作成および更新し、既存のルールを表示する方法について説明します。これらの呼び出しを行うには、NerdGraphエクスプローラーを使用できます。さらに、エクスポート圧縮機能を使用して、エクスポート前にデータを圧縮するオプションもあります。

以下に、ストリーミングエクスポート機能の使用例をいくつか示します。

データレイクにデータを入力するには
AI/ML トレーニングの強化
コンプライアンス、法的、またはセキュリティ上の理由から、長期的な保持を確保します。

ストリーミングエクスポートルールはいつでも有効または無効にできます。ただし、ストリーミングエクスポートは現在取り込まれているデータのみを処理することにご注意ください。機能を無効にしてから再度有効にした場合、オフの間に取り込まれたデータはエクスポートされません。過去のデータをエクスポートするには、履歴データエクスポート機能を使用してください。

要件と限界

ストリーミングデータの制限: 1 か月にストリーミングできるデータの量は、1 か月に取り込まれたデータの合計によって制限されます。ストリーミングデータ量が取り込みデータ量を超える場合、ストリーミングエクスポートへのアクセスと使用を停止する場合があります。

パーミッション関連の要件。

Data Plusオプション付きの Pro または Enterprise エディション
ユーザータイプ:コアユーザーまたはフルプラットフォームユーザー
ストリーミングデータの許可

New Relicデータを受信するには、AWS Kinesis Firehose、Azure イベントハブ、またはGCP Pub/Subをセットアップする必要があります。まだセットアップしていない場合は、以下のAWS、Azure、またはGCP Pub/Subの手順に従ってください。

NRQL 要件:

集計のないフラットなクエリである必要があります。たとえば、 SELECT *またはSELECT column1, column2フォームがサポートされています。
サブクエリを除く、 WHERE句のすべてに適用されます。
クエリにFACET句、 COMPARE WITHまたはLOOKUPを含めることはできません。
ネストされたクエリはサポートされていません。
メトリックタイムスライスデータではなく、NRDB に格納されたデータ型をサポートします。

前提条件

New Relicアカウントが必要です。そのアカウントでは、クエリやミューテーションに含める必要があるAPIユーザーキーにアクセスできます。
ユーザータイプと割り当てられたロールは、NerdGraphの権限に影響を与える可能性があります。詳細については、アクセスに影響する要因を参照してください。

AWS Kinesis Firehose をセットアップする

AWSへのストリーミングデータのエクスポートをセットアップするには、まずAmazon Kinesis Firehoseをセットアップする必要があります。次の手順に従ってください。

ストリーミングエクスポート用のFirehoseを作成する

New Relic データをストリーミングする専用の Firehose を作成します。

Amazon Kinesis Data Firehoseに移動します。
配信ストリームを作成します。
ストリームに名前を付けます。この名前は、後でルールを登録するときに使用します。
Direct PUT or other sourcesを使用して、New Relic の JSON イベント形式 (S3、Redshift、OpenSearch など) と互換性のある宛先を指定します。

IAM Firehose 書き込みアクセスポリシーを作成する

IAM コンソールに移動し、ユーザーとしてサインインします。
左側のナビゲーションでPolicies [ポリシー]をクリックし、Create policy [ポリシーの作成]をクリックします。
Firehose サービスを選択し、 PutRecordとPutRecordBatchを選択します。
Resourcesでは、配信ストリームを選択し、ARN を追加して、ストリームのリージョンを選択します。
AWS アカウント番号を入力し、名前ボックスに目的の配信ストリーム名を入力します。
ポリシーを作成します。

New Relic の書き込みアクセスを許可するための IAM ロールを作成する

IAM ロールを設定するには:

IAMに移動し、Rolesをクリックします。
AWS アカウントのロールを作成し、 for another AWS accountを選択します。
New Relic エクスポートアカウント ID を入力します: 888632727556 。
Require external IDを選択し、エクスポート元の New Relic アカウントのアカウント IDを入力します。
Permissionsをクリックし、上で作成したポリシーを選択します。
エクスポート登録時に使用されるロール名を追加し、説明を入力してください。
ロールを作成します。

これらの手順が完了したら、NerdGraphを使用してエクスポートルールを設定できます。

このAPIを使用すると、AWS Kinesis Firehoseにデータを送信するためのストリーミングエクスポートルールを作成できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`accountId`	整数	はい	New Relic アカウントID 。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートする前にペイロードを圧縮するには、これを選択します。
`awsParameters.awsAccountId`	ID	はい	ターゲットのFirehose配信ストリームを所有する AWSアカウントを指定します。例： `10000000000` 。
`awsParameters.deliveryStreamName`	弦	はい	データ配信に使用される Kinesisストリームの名前を指定します。例： `firehose-test-stream` 。
`awsParameters.region`	弦	はい	リソースがデプロイされる AWSリージョンを指定します。例： `us-east-1` 。
`awsParameters.role`	弦	はい	New Relic用に構成された AWS IAMロールを指定します。これは常に `firehose-role` になります。

サンプルリクエスト

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

レスポンス：ルールIDとステータスを含むレスポンスを受け取ります。ステータスは最初はCREATION_IN_PROGRESSになり、ルールの作成が完了するまでに最大6分かかる場合があります。
留意点：ルールの登録が完了するまでは、ルールが作成プロセスのためにロックされているため、別のミューテーションアクション（Enable、Disable、またはUpdateなど）を開始することはできません。ルールの登録プロセスが完了する前に別のミューテーションアクションを試行すると、「The export rule is currently being updated by another request, please wait and try again later.」のようなメッセージが表示されます。

Deleteはいつでも使用できます。

ルールの作成に必要な約 6 分以内であれば、いつでも作成を終了してステータスを変更できます。ステータスはENABLED 、 DISABLED 、またはCREATION_FAILEDに変わります。

値に関する次の詳細を参照してください。

ENABLED ルールが正常に作成され、データのストリーミングが開始されたことを意味します。
CREATION_FAILED ルールの作成に失敗したことを意味します。これはいくつかの理由で発生する可能性がありますが、多くの場合、AWS ポリシーまたは Azure SAS 検証の失敗が原因です。
DISABLED は、ルールが作成されたものの、フィルタストリームの制限に達した、またはフィルタストリームルールの作成に失敗したなどの理由により、まだ有効になっていないことを意味します。6 分経ってもステータスがCREATION_IN_PROGRESSのままの場合は、サービスのシステムエラーが原因でルールの作成に失敗したことを意味します。ルールを削除して、新しいルールをもう一度作成してみてください。

このAPIを使用すると、アカウントIDに関連付けられているすべてのストリームルールの包括的なリストを取得できます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          aws {
            awsAccountId
            region
            deliveryStreamName
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、アカウントIDとルールIDを指定して、特定のストリームルールに関する情報をクエリできます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          aws {
            awsAccountId
            deliveryStreamName
            region
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、既存のストリーミングエクスポートルールを変更できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	更新するストリーミングルールのIDです。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートする前にペイロードを圧縮するには、これを選択します。
`awsParameters.awsAccountId`	ID	はい	ターゲットのFirehose配信ストリームを所有する AWSアカウントを指定します。例： `10000000000` 。
`awsParameters.deliveryStreamName`	弦	はい	データ配信に使用される Kinesisストリームの名前を指定します。例： `firehose-test-stream` 。
`awsParameters.region`	弦	はい	リソースがデプロイされる AWSリージョンを指定します。例： `us-east-1` 。
`awsParameters.role`	弦	はい	New Relic用に構成された AWS IAMロールを指定します。これは常に `firehose-role` になります。

サンプルリクエスト

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

レスポンス：ルールIDとステータスを含むレスポンスを受け取ります。
注意点：更新時に、メッセージフィールドに次のメッセージが表示されます。「エクスポートルールは更新中であり、プロセスの完了に数分かかる場合があります。後でもう一度確認してください」。完全に更新されるまでに最大6分かかる場合があります。

streamingRuleを呼び出してルールを取得することで、ルールが更新されたかどうかを確認できます。ルールの更新中はルールがロックされ、他のミューテーションアクションをルールに対して実行することはできません。同じルールに対して別のミューテーションアクションを実行しようとすると、「エクスポートルールは現在別のリクエストによって更新されています。お待ちいただき、後でもう一度お試しください」というメッセージが表示されます。ユーザーは、削除されたルールを除く任意のステータスのルールを更新できます。

このAPIを使用すると、既存のストリーミングルールを有効にして、リアルタイム処理や他のサービスとのインテグレーションのためにデータの継続的なエクスポートを促進できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	有効にするストリーミングルールのID。

サンプルリクエスト

mutation {
  streamingExportEnableRule(id: RULE_ID) {
    id
    status
    message
  }
}

レスポンス：別の状態にあるルールを有効にしようとすると、「The export rule can't be enabled or disabled due to status not being allowed.」のようなエラーメッセージが返されます。別のミューテーションが実行されているためにルールがロックされている場合、ルールを有効にすることはできません。

重要

ルールのステータスがDISABLEDの場合にのみ、ルールを有効にできます。

このAPIを使用すると、既存のストリーミングルールを無効にして、データの継続的なエクスポートを停止できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	無効にするストリーミングルールのIDです。

サンプルリクエスト

mutation {
  streamingExportDisableRule(id: RULE_ID) {
    id
    status
    message
  }
}

応答：別の状態にあるルールを無効にしようとすると、「The export rule can't be enabled or disabled due to status not being allowed.」のようなエラーメッセージが返されます。別の変更が行われているためにルールがロックされている場合、ルールを無効にすることはできません。

重要

ルールのステータスがENABLEDの場合にのみ、ルールを無効にすることができます。

このAPIを使用すると、ストリーミングルールを削除し、そのルールに関連するすべてのデータエクスポートを停止できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	削除するストリーミングルールのIDです。

サンプルリクエスト

mutation {
  streamingExportDeleteRule(id: RULE_ID) {
    id
  }
}

重要

すでに削除されている場合を除き、どのステータスのルールでも削除を実行できます。ルールは一度削除されると、再度アクティブ化することはできません。削除後最初の24時間以内であれば、ルールIDを指定してsteamingRule APIを呼び出すことで、ルールを引き続き表示できます。24時間経過すると、NerdGraphからルールを検索できなくなります。

Azure イベントハブをセットアップする

Azureへのストリーミングデータエクスポートを設定するには、まずイベントハブを設定する必要があります。次の手順に従ってください。

または、こちらの Azure ガイドに従うこともできます。

イベントハブネームスペースを作成する

Microsoft Azureアカウントから、Event Hubsに移動します。
手順に従って、Event Hubs 名前空間を作成します。すべてのデータを確実に受信できるように、自動インフレを有効にすることをお勧めします。
共有アクセスポリシーを使用してイベントハブで安全に認証するため、パブリックアクセスが有効になっていることを確認してください。
イベント Hubs ネームスペースがデプロイされたら、 Go to resourceをクリックします。

イベントハブを作成する

左側の列でEvent Hubsをクリックします。
イベントハブを作成するには、+Event Hubをクリックします。
目的のイベントハブ名を入力してください。ストリーミングエクスポートルールを作成するために後で必要になるため、これを保存してください。
Retentionには、Delete Cleanup policyと目的のRetention time (hrs)を選択します。
重要
現在、ストリーミングエクスポートは、 Compact保持ポリシーを持つイベントハブではサポートされていません。
イベントハブが作成されたら、Event Hub [イベントハブ]をクリックします。

共有アクセスポリシーを作成して添付する

左側の列で、 Shared access policiesに移動します。
ページの上部近くにある+Addをクリックします。
共有アクセスポリシーの名前を選択します。
Sendにチェックを入れて、 Createをクリックします。
作成したポリシーをクリックし、Connection string–primary keyをコピーします。後でイベントハブを認証してデータを送信するために必要になるため、これを保存します。

これらの手順が完了したら、NerdGraphを使用してエクスポートルールを設定できます。

このAPIを使用すると、Azure Event Hubにデータを送信するストリーミングエクスポートルールを作成できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`accountId`	整数	はい	New Relic アカウントID 。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートする前にペイロードを圧縮するには、これを選択します。
`azureParameters.eventHubConnectionString`	弦	はい	このパラメーターは、特定のイベントハブへのアクセスを提供する接続文字列です。次のようになります： `Endpoint=sb://<NamespaceName>.servicebus.windows.net/;SharedAccessKeyName=<KeyName>;SharedAccessKey=<KeyValue>;EntityPath=<EventHubName>`
`azureParameters.eventHubName`	弦	はい	このパラメーターは、イベントが送信されて処理されるEvent Hubの名前を指定します。例を以下に示します。 `my-event-hub.`

サンプルリクエスト

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

応答：ルールIDとステータスを含む応答を受け取ります。ステータスは最初はCREATION_IN_PROGRESSになり、ルールの作成が完了するまでに最大6分かかる場合があります。

このAPIを使用すると、アカウントIDに関連付けられているすべてのストリームルールの包括的なリストを取得できます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、アカウントIDとルールIDを指定して、特定のストリームルールに関する情報をクエリできます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、既存のストリーミングエクスポートルールを変更できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	更新するストリーミングルールのIDです。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートする前にペイロードを圧縮するには、これを選択します。
`azureParameters.eventHubConnectionString`	ID	はい	このパラメーターは、特定のEvent Hubへのアクセスを提供する接続文字列です。次のようになります： `Endpoint=sb://<NamespaceName>.servicebus.windows.net/;SharedAccessKeyName=<KeyName>;SharedAccessKey=<KeyValue>;EntityPath=<EventHubName>`
`azureParameters.eventHubName`	弦	はい	このパラメーターは、イベントが送信されて処理されるEvent Hubの名前を指定します。例を以下に示します。 `my-event-hub.`

サンプルリクエスト

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

応答：ルールIDとステータスを含む応答を受け取ります。

GCP Pub/Subを設定します。

GCPへのストリーミングデータのエクスポートを設定するには、まずPub/Subを設定する必要があります。次の手順に従ってください。

Pub/Subトピックを作成する

GCPコンソールから、Pub/Subページに移動します。
Create topic [トピックの作成]をクリックします。
トピックIDを入力し、Createをクリックします。

Pub/Subで権限を設定する

作成したトピックの右側の列で、More actionsをクリックします。
View permissions [権限の表示]を選択します。
Add Principal [プリンシパルの追加]をクリックし、新しいプリンシパルボックスに、当社が提供したサービスアカウントのメールアドレスを入力します：
- USリージョン（デフォルト）： us-prod-uds-streaming-export@h0c17c65df9291b526b433650e6a0a.iam.gserviceaccount.com
- EU地域： eu-prod-uds-streaming-export@h0c17c65df9291b526b433650e6a0a.iam.gserviceaccount.com
- JP地域： uds-jp-production@unifieddatastreams.iam.gserviceaccount.com
Assign roles [ロールの割り当て]セクションで、Pub/Sub Publisherを検索し、Save [保存]をクリックします。

これらの手順が完了したら、NerdGraphを使用してエクスポートルールを設定できます。

このAPIを使用すると、GCP Pub/Subにデータを送信するためのストリーミングエクスポートルールを作成できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`accountId`	整数	はい	New Relic アカウントID 。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートされる前にペイロードを圧縮するには、これを選択します。
`gcpParameters.gcpProjectId`	弦	はい	このパラメーターは、GCPプロジェクトの一意の識別子を表します。例を以下に示します。 `google-project-id`
`gcpParameters.pubsubTopicId`	弦	はい	このパラメーターは、cloudアプリケーション内でメッセージを送受信するために使用される、GCP Pub/Subのトピックを指定します。例を以下に示します。 `pub-sub-topic-id.`

サンプルリクエスト

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

このAPIを使用すると、アカウントIDに関連付けられているすべてのストリームルールの包括的なリストを取得できます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、アカウントIDとルールIDを指定して、特定のストリームルールに関する情報をクエリできます。

サンプルリクエスト

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

このAPIを使用すると、既存のストリーミングエクスポートルールを変更できます。

入力

パラメータ	データタイプ	必須ですか?	説明
`id`	ID	はい	更新するストリーミングルールのIDです。
`ruleParameters.description`	弦	いいえ	ルールの簡単な説明。これを使用して、エクスポートルールに関する追加情報やコンテキストを提供します。
`ruleParameters.name`	弦	はい	エクスポートルールの名前。
`ruleParameters.nrql`	弦	はい	エクスポートするテレメトリーデータを選択するためのNRQL。
`ruleParameters.payloadCompression`	弦	いいえ	payloadCompressionは2つの値を受け入れます： `DISABLED`：デフォルトでは、ペイロードはエクスポートされる前に圧縮されません。 `GZIP`：エクスポートする前にペイロードを圧縮するには、これを選択します。
`gcpParameters.gcpProjectId`	弦	はい	このパラメーターは、Google Cloud Platform（GCP）プロジェクトの一意の識別子を表します。例を以下に示します。 `google-project-id`
`gcpParameters.pubsubTopicId`	弦	はい	このパラメーターは、cloudアプリケーション内でメッセージを送受信するために使用される、Google Cloud Pub/Subのトピックを指定します。例を以下に示します。 `pub-sub-topic-id.`

サンプルリクエスト

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

応答：ルールIDとステータスを含む応答を受け取ります。

輸出圧縮を理解する

データをエクスポートする前に圧縮することを選択できます。この機能はデフォルトでオフになっています。圧縮により、データ制限の超過を防ぎ、アウトバウンドデータコストを削減できます。

ruleParametersのpayloadCompressionフィールドを使用して圧縮を有効にできます。このフィールドには、次のいずれかの値を指定できます。

DISABLED: ペイロードはエクスポート前に圧縮されません。指定しない場合、 payloadCompressionはデフォルトでこの値になります。
GZIP：エクスポートする前に、ペイロードをGZIP形式で圧縮します。

現在利用可能な圧縮形式は GZIP のみですが、将来的にはさらに多くの形式を利用できるようになる可能性があります。

既存の AWS エクスポートルールで圧縮が有効になっている場合、Kinesis Firehose からの次のメッセージには圧縮データと非圧縮データの両方が含まれる可能性があります。これは、Kinesis Firehose 内のバッファリングが原因です。これを回避するには、圧縮を有効にする前にエクスポートルールを一時的に無効にするか、圧縮データのみが流れる新しい Kinesis Firehose ストリームを作成します。

この問題が発生し、S3 または別のファイルストレージシステムにエクスポートしている場合は、次の手順に従ってデータの圧縮部分を表示できます。

オブジェクトを手動でダウンロードします。
圧縮データを新しいファイルにコピーして、オブジェクトを 2 つの個別のファイルに分割します。
新しい圧縮専用データファイルを解凍します。

圧縮データを取得したら、それを S3 (または使用している他のサービス) に再アップロードし、古いファイルを削除できます。

S3 または別のファイルストレージシステムでは、オブジェクトが連続して追加される複数の GZIP エンコードされたペイロードで構成される場合があることに注意してください。したがって、解凍ライブラリには、このような連結された GZIP ペイロードを処理する機能が必要です。

AWSでの自動解凍

データが AWS に到着したら、自動的に解凍するオプションが必要になる場合があります。データを S3 バケットにストリーミングしている場合、自動解凍を有効にする方法は 2 つあります。

アクセスポイントは、S3 バケット内のオブジェクトにアクセスしてダウンロードできる別の方法として機能します。AWS は、アクセスポイント経由でアクセスされる各 S3 オブジェクトに対して Lambda 関数を実行する、オブジェクトLambda アクセスポイントと呼ばれる機能を提供します。このようなアクセスポイントを有効にするには、次の手順に従います。

このページに移動し、サーバーレスリポジトリへのリンクをクリックします。
Deployをクリックします。
S3 バケットにアクセスポイントをセットアップします。
Object Lambda アクセスポイントを作成します。このアクセスポイントには次の設定が必要です。
- この Lambda アクセスポイントのSupporting Access Pointは、S3 バケットに設定したアクセスポイントに設定する必要があります。
- Transformation Configurationの下:
- GetObjectを選択します。
- 異なる圧縮形式を使用する場合は、DecompressGZFunction Lambda関数、またはその他の必要な関数を指定します。

オブジェクトに正しいメタデータセットがある場合、AWS は S3 からダウンロードされたオブジェクトを自動的に解凍します。このメタデータを、セットされた S3 オブジェクトにダウンロードされたすべての新しいオブジェクトに自動的に適用する関数を作成しました。設定方法は次のとおりです。

ここに移動し、リポジトリをローカルにクローンし、README ファイルに記載されている手順に従って、ラムダ関数を含む ZIP ファイルを生成します。
関数のIAM ロールを作成します。

ロールを作成するときは、信頼できるエンティティタイプを必ず「AWS サービス」として設定し、ユースケースとして「Lambda」を設定してください。
このロールには、次の権限を持つポリシーが必要です: s3:PutObjectおよびs3:GetObject 。

AWS で、 Lambda 関数のページに移動します。
Create functionをクリックします。
Java 11 ランタイム環境を選択します。
Change default execution role > Use an existing roleをクリックします。ステップ 2 で作成したロールをここに入力します。
下にスクロールしてCreate functionをクリックします。
関数が作成されたら、 Upload fromをクリックし、ドロップダウンから.zip or .jar fileを選択します。
表示されるボックスからUploadをクリックし、手順 1 で作成した ZIP ファイルを選択します。
アップロードが完了したら、 Saveをクリックしてポップアップボックスを閉じます。
ハンドラーを追加して、 Runtime settingsを編集します。私たちが提供する関数では、ハンドラーはmetadatasetter.App::handleRequestです。
あとは、この Lambda関数が S3 オブジェクトの作成時にトリガーされるようにするだけです。 Add triggerをクリックして設定を開始します。
ドロップダウンから、ソースとしてS3を選択します。
メタデータを適用する S3 バケットの名前をBucketフィールドに入力します。
イベントタイプからデフォルトのAll object create eventsを削除します。 [イベントタイプ] ドロップダウンから、 PUTを選択します。
Recursive invocationチェックボックスをオンにして、右下のAddをクリックします。
Lambda 関数は、新しく追加されたすべての S3 オブジェクトに圧縮メタデータを自動的に追加し始めます。

Azureでの自動解凍

データを Azure にエクスポートしている場合は、 Stream Analytics ジョブを使用して、イベントハブに保存されているオブジェクトの解凍されたバージョンを表示できます。これを行うには、次の手順に従います。

このガイドのステップ 16 までに従ってください。
- ステップ13では、問題を起こすことなく出力と同じイベントハブを使用することを選択できますが、ステップ17に進んでジョブを開始する予定の場合、このアプローチはテストされていないため推奨されません。
ストリーミング分析ジョブの左側のペインで、Inputsをクリックし、設定した入力をクリックします。
右側に表示されるペインの一番下までスクロールし、次の設定で入力を構成します。
- イベントシリアル化形式：JSON
- エンコード: UTF-8
- イベント圧縮タイプ: GZip
ペインの下部にあるSaveをクリックします。
画面の横にあるQueryをクリックします。 Input previewタブを使用すると、この画面からイベントハブにクエリを実行できるようになります。

GCPでの自動解凍

GCP Cloud Storageでは、メタデータがContent-Encoding: gzipに設定されている場合、ダウンロード時にオブジェクトが自動的に解凍されます。詳細については、GCPドキュメントをご覧ください。

この機械翻訳は、参考として提供されています。

NerdGraphチュートリアル: データをAWS Kinesis Firehose、Azure Event Hub、またはGCP Pub/Subにストリーミングする

要件と限界 .css-21sua1{background:none;border:none;width:0;padding:0;}

前提条件

AWS Kinesis Firehose をセットアップする

ストリーミングエクスポート用のFirehoseを作成する

IAM Firehose 書き込みアクセスポリシーを作成する

New Relic の書き込みアクセスを許可するための IAM ロールを作成する

すべてのストリームを一覧表示します。

ストリームルールの詳細を表示

ストリームを更新する

ストリームを有効にする

ストリームを無効にする

ストリームを削除する

Azure イベント ハブをセットアップする

イベントハブネームスペースを作成する

イベントハブを作成する

重要

共有アクセスポリシーを作成して添付する

ストリームを作成する

すべてのストリームを一覧表示します。

ストリームルールの詳細を表示

ストリームを更新する

ストリームを有効にする

ストリームを無効にする

ストリームを削除する

GCP Pub/Subを設定します。

Pub/Subトピックを作成する

Pub/Subで権限を設定する

ストリームを作成する

すべてのストリームを一覧表示します。

ストリームルールの詳細を表示

ストリームを更新する

ストリームを有効にする

ストリームを無効にする

ストリームを削除する

輸出圧縮を理解する

AWSでの自動解凍

オブジェクト Lambda アクセス ポイント

メタデータ設定 Lambda 関数

Azureでの自動解凍

GCPでの自動解凍

要件と限界

Azure イベントハブをセットアップする

オブジェクト Lambda アクセスポイント