NerdGraph 튜토리얼: AWS Kinesis Firehose, Azure 이벤트 허브 또는 GCP Pub/Sub로 데이터 스트리밍하기

Data Plus를 통해 제공되는 스트리밍 내보내기 기능을 사용하면, 내보낼 데이터를 지정하는 NRQL을 사용하여 사용자 지정 규칙을 생성함으로써 AWS Kinesis Firehose, Azure 이벤트 허브 또는 GCP Pub/Sub로 데이터를 전송할 수 있습니다. 이 가이드에서는 NerdGraph를 사용하여 스트리밍 규칙을 생성 및 업데이트하고 기존 규칙을 확인하는 방법을 설명합니다. NerdGraph 탐색기를 사용하여 이러한 호출을 수행할 수 있습니다. 또한 내보내기 압축 기능을 사용하여 내보내기 전에 데이터를 압축할 수도 있습니다.

스트리밍 내보내기 기능을 사용하는 방법의 몇 가지 예는 다음과 같습니다:

데이터 레이크를 채우려면
AI/ML 교육 강화
규정 준수, 법률 또는 보안상의 이유로 장기 보존을 보장하십시오.

언제든지 스트리밍 내보내기 규칙을 활성화하거나 비활성화할 수 있습니다. 그러나 스트리밍 내보내기는 현재 수집된 데이터만 처리한다는 점에 유의하십시오. 기능을 비활성화했다가 나중에 다시 활성화하면, 꺼져 있는 동안 수집된 데이터는 내보내지지 않습니다. 과거 데이터를 내보내려면 이력 데이터 내보내기 기능을 사용해야 합니다.

요구 사항 및 제한 사항

스트리밍 데이터 제한: 한 달에 스트리밍할 수 있는 데이터의 양은 한 달에 수집된 총 데이터 에 의해 제한됩니다. 스트리밍 데이터 양이 수집된 데이터 양을 초과하는 경우 스트리밍 내보내기에 대한 액세스 및 사용을 일시 중지할 수 있습니다.

권한 관련 요구 사항:

Data Plus 옵션이 포함된 Pro 또는 Enterprise 에디션
사용자 유형: 핵심 사용자 또는 전체 플랫폼 사용자
스트리밍 데이터 권한

뉴렐릭 데이터를 수신하려면 AWS Kinesis Firehose, Azure 이벤트 허브 또는 GCP Pub/Sub가 설정되어 있어야 합니다. 아직 이 작업을 수행하지 않은 경우 아래의 AWS, Azure 또는 GCP Pub/Sub에 대한 단계를 따르십시오.

NRQL 요구 사항:

집계가 없는 단순 쿼리여야 합니다. 예를 들어 SELECT * 또는 SELECT column1, column2 형식이 지원됩니다.
하위 쿼리를 제외한 WHERE 절의 모든 항목에 적용할 수 있습니다.
쿼리에는 FACET 절, COMPARE WITH 또는 LOOKUP 가 있을 수 없습니다.
중첩 쿼리는 지원되지 않습니다.
메트릭 타임슬라이스 데이터 가 아닌 NRDB에 저장된 데이터 유형을 지원합니다.

전제 조건

뉴렐릭 계정이 있어야 쿼리 및 변형에 포함해야 하는 API 사용자 키에 액세스할 수 있습니다.
사용자 유형 및 할당된 역할은 NerdGraph 권한에 영향을 줄 수 있습니다. 보다 자세한 내용은 액세스에 영향을 미치는 요소를 참조하십시오.

AWS Kinesis Firehose 설정

AWS로의 스트리밍 데이터 내보내기를 설정하려면 먼저 Amazon Kinesis Firehose를 설정해야 합니다. 다음 단계를 따릅니다:

스트리밍 내보내기 위한 Firehose 만들기

New Relic 데이터를 스트리밍할 전용 Firehose를 생성:

Amazon Kinesis Data Firehose로 이동하십시오.
배달 스트림을 만듭니다.
스트림의 이름을 지정하십시오. 나중에 규칙을 등록할 때 이 이름을 사용합니다.
Direct PUT or other sources 사용하고 뉴렐릭의 JSON 이벤트 형식(예: S3, Redshift 또는 OpenSearch)과 호환되는 대상을 지정합니다.

IAM Firehose 쓰기 액세스 정책 생성

IAM 콘솔로 이동하여 사용자로 로그인합니다.
왼쪽 탐색에서 Policies [정책을] 클릭한 다음 Create policy [정책 만들기를] 클릭합니다.
Firehose 서비스를 선택한 다음 PutRecord 및 PutRecordBatch 을 선택합니다.
Resources 의 경우 전송 스트림을 선택하고 ARN을 추가한 다음 스트림의 지역을 선택합니다.
AWS 계정 번호를 입력한 다음 이름 상자에 원하는 전송 스트림 이름을 입력합니다.
정책을 만듭니다.

뉴렐릭 쓰기 액세스 권한을 부여하기 위한 IAM 역할 생성

IAM 역할을 설정하려면:

IAM으로 이동하여 Roles을(를) 클릭합니다.
AWS 계정에 대한 역할을 생성한 후 for another AWS account 선택합니다.
New Relic 내보내기 계정 ID 입력: 888632727556 .
Require external ID 선택하고 내보내려는 뉴렐릭 계정의 계정 ID를 입력하세요.
Permissions 클릭한 다음 위에서 생성한 정책을 선택합니다.
내보내기 등록 중에 사용될 역할 이름을 추가하고 설명을 제공하십시오.
역할을 만듭니다.

이 단계를 완료하면 NerdGraph를 사용하여 내보내기 규칙을 설정할 수 있습니다.

이 API를 사용하면 데이터를 AWS Kinesis Firehose로 전송하는 스트리밍 내보내기 규칙을 생성할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`accountId`	정수	네	귀하의 뉴렐릭 계정 ID .
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이것을 선택하십시오.
`awsParameters.awsAccountId`	ID	네	타겟 Firehose 전송 스트림을 소유한 AWS 계정 을 지정합니다. 예: `10000000000` .
`awsParameters.deliveryStreamName`	문자열	네	데이터 전송에 사용되는 Kinesis 스트림의 이름 을 지정합니다. 예: `firehose-test-stream` .
`awsParameters.region`	문자열	네	리소스가 배포된 AWS 리전 을 지정합니다. 예: `us-east-1` .
`awsParameters.role`	문자열	네	뉴렐릭에 대해 설정된 AWS IAM 역할 을 지정합니다. 이 값은 항상 `firehose-role` 입니다.

샘플 요청

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다. 상태는 처음에 CREATION_IN_PROGRESS 이며, 규칙 생성을 완료하는 데 최대 6분이 걸릴 수 있습니다.
참고 사항: 규칙이 등록을 완료하기 전에는 생성 프로세스를 위해 규칙이 잠겨 있으므로 다른 변경 작업(Enable, Disable 또는 Update 등)을 시작할 수 없습니다. 규칙이 등록 프로세스를 완료하기 전에 다른 변경 작업을 시도하면 "The export rule is currently being updated by another request, please wait and try again later."와 같은 메시지가 표시됩니다.

언제든지 Delete 을(를) 사용할 수 있습니다.

규칙 생성에 필요한 대략 6분 이내에 생성을 완료하고 언제든지 상태를 변경할 수 있습니다. 상태가 ENABLED , DISABLED 또는 CREATION_FAILED 로 변경됩니다.

값에 대한 다음 세부정보를 참조하세요.

ENABLED 규칙이 성공적으로 생성되고 데이터 스트리밍이 시작되었음을 의미합니다.
CREATION_FAILED 생성 시 규칙이 실패했음을 의미합니다. 이는 여러 가지 이유로 발생할 수 있지만 종종 AWS 정책 또는 Azure SAS 유효성 검사 실패로 인해 발생합니다.
DISABLED 규칙이 생성되었지만 필터 스트림 제한에 도달했거나 필터 스트림 규칙 생성 실패와 같은 이유로 아직 활성화되지 않았음을 의미합니다. 6분 후에도 상태가 계속 CREATION_IN_PROGRESS 으로 유지되면 서비스의 시스템 오류로 인해 규칙 생성이 실패했음을 의미합니다. 규칙을 삭제하고 새 규칙을 다시 만들 수 있습니다.

이 API를 사용하면 계정 ID와 관련된 모든 스트림 규칙의 포괄적인 목록을 검색할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          aws {
            awsAccountId
            region
            deliveryStreamName
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 계정 ID와 규칙 ID를 제공하여 특정 스트림 규칙에 대한 정보를 쿼리할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          aws {
            awsAccountId
            deliveryStreamName
            region
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 기존 스트리밍 내보내기 규칙을 수정할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	업데이트할 스트리밍 규칙의 ID입니다.
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이것을 선택하십시오.
`awsParameters.awsAccountId`	ID	네	타겟 Firehose 전송 스트림을 소유한 AWS 계정 을 지정합니다. 예: `10000000000` .
`awsParameters.deliveryStreamName`	문자열	네	데이터 전송에 사용되는 Kinesis 스트림의 이름 을 지정합니다. 예: `firehose-test-stream` .
`awsParameters.region`	문자열	네	리소스가 배포된 AWS 리전 을 지정합니다. 예: `us-east-1` .
`awsParameters.role`	문자열	네	뉴렐릭에 대해 설정된 AWS IAM 역할 을 지정합니다. 이 값은 항상 `firehose-role` 입니다.

샘플 요청

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다.
참고 사항: 업데이트할 때 메시지 필드에 다음과 같은 메시지가 표시됩니다. “내보내기 규칙이 업데이트 중이며 프로세스를 완료하는 데 몇 분 정도 걸릴 수 있습니다. 나중에 다시 확인해 주십시오.” 완전히 업데이트되는 데 최대 6분이 걸릴 수 있습니다.

규칙을 검색하기 위해 streamingRule을 호출하여 규칙이 업데이트되었는지 확인할 수 있습니다. 규칙이 업데이트되는 동안에는 규칙이 잠기며, 다른 변경 작업을 규칙에 수행할 수 없습니다. 동일한 규칙에 대해 다른 변경 작업을 수행하려고 하면 “내보내기 규칙이 현재 다른 요청에 의해 업데이트 중입니다. 잠시 기다린 후 나중에 다시 시도해 주십시오.”라는 메시지가 표시됩니다. 사용자는 삭제된 규칙을 제외한 모든 상태의 규칙을 업데이트할 수 있습니다.

이 API를 사용하면 기존 스트리밍 규칙을 활성화하여 실시간 처리 및 다른 서비스와의 통합을 위해 데이터를 지속적으로 내보낼 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	활성화할 스트리밍 규칙의 ID입니다.

샘플 요청

mutation {
  streamingExportEnableRule(id: RULE_ID) {
    id
    status
    message
  }
}

응답: 다른 상태에 있는 규칙을 활성화하려고 하면 "상태가 허용되지 않아 내보내기 규칙을 활성화하거나 비활성화할 수 없습니다."와 같은 오류 메시지를 반환합니다. 다른 변경 작업이 수행되어 규칙이 잠긴 경우 규칙을 활성화할 수 없습니다.

중요

규칙의 상태가 DISABLED인 경우에만 활성화할 수 있습니다.

이 API를 사용하면 기존 스트리밍 규칙을 비활성화하여 데이터의 지속적인 내보내기를 중지할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	비활성화할 스트리밍 규칙의 ID입니다.

샘플 요청

mutation {
  streamingExportDisableRule(id: RULE_ID) {
    id
    status
    message
  }
}

응답: 다른 상태에 있는 규칙을 비활성화하려고 하면 "상태가 허용되지 않아 내보내기 규칙을 활성화하거나 비활성화할 수 없습니다."와 같은 오류 메시지가 반환됩니다. 다른 변경 작업이 수행되어 규칙이 잠긴 경우 규칙을 비활성화할 수 없습니다.

중요

규칙의 상태가 ENABLED인 경우에만 규칙을 비활성화할 수 있습니다.

이 API를 사용하면 스트리밍 규칙을 삭제하고 해당 규칙과 관련된 모든 데이터 내보내기를 중지할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	삭제할 스트리밍 규칙의 ID입니다.

샘플 요청

mutation {
  streamingExportDeleteRule(id: RULE_ID) {
    id
  }
}

중요

이미 삭제된 경우가 아니라면 모든 상태의 규칙에 대해 삭제를 수행할 수 있습니다. 규칙이 삭제되면 다시 활성화할 수 없습니다. 삭제 후 처음 24시간 이내에는 규칙 ID와 함께 steamingRule API를 호출하여 규칙을 계속 볼 수 있습니다. 24시간 후에는 NerdGraph를 통해 더 이상 규칙을 검색할 수 없습니다.

Azure 이벤트 허브 설정

Azure로 스트리밍 데이터 내보내기를 설정하려면 먼저 이벤트 허브를 설정해야 합니다. 다음 단계를 따릅니다:

또는 여기 에서 Azure 가이드를 따를 수 있습니다.

이벤트 허브 네임스페이스 만들기

Microsoft Azure 계정에서 Event Hubs로 이동합니다.
단계에 따라 Event Hubs 네임스페이스를 만듭니다. 모든 데이터를 받을 수 있도록 자동 팽창을 활성화하는 것이 좋습니다.
Event Hub에 안전하게 인증하기 위해 공유 액세스 정책을 사용할 것이므로 퍼블릭 액세스가 활성화되어 있는지 확인하십시오.
Event Hubs 네임스페이스가 구현하다, 배포되면, Go to resource 클릭합니다.

이벤트 허브 만들기

왼쪽 열에서 Event Hubs 클릭합니다.
Event Hub를 생성하려면 +Event Hub을(를) 클릭하십시오.
원하는 이벤트 허브 이름을 입력하십시오. 나중에 스트리밍 내보내기 규칙을 생성할 때 필요하므로 이를 저장하십시오.
Retention의 경우 Delete Cleanup policy 및 원하는 Retention time (hrs)을(를) 선택합니다.
중요
현재 Compact 보존 정책이 있는 이벤트 허브에서는 스트리밍 내보내기가 지원되지 않습니다.
Event Hub가 생성되면 Event Hub를 클릭하십시오.

공유 액세스 정책을 만들고 첨부합니다.

왼쪽 열에서 Shared access policies 으로 이동합니다.
페이지 상단 근처에 있는 +Add 클릭합니다.
공유 액세스 정책의 이름을 선택하십시오.
Send 선택하고 Create 클릭합니다.
생성된 정책을 클릭하고 Connection string–primary key을(를) 복사하십시오. 나중에 인증하고 Event Hub로 데이터를 보내는 데 필요하므로 이를 저장하십시오.

이 단계를 완료하면 NerdGraph를 사용하여 내보내기 규칙을 설정할 수 있습니다.

이 API를 사용하면 Azure 이벤트 허브로 데이터를 보내는 스트리밍 내보내기 규칙을 생성할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`accountId`	정수	네	귀하의 뉴렐릭 계정 ID .
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이것을 선택하십시오.
`azureParameters.eventHubConnectionString`	문자열	네	이 파라미터는 특정 이벤트 허브에 대한 액세스를 제공하는 연결 문자열 입니다. 다음과 유사합니다: `Endpoint=sb://<NamespaceName>.servicebus.windows.net/;SharedAccessKeyName=<KeyName>;SharedAccessKey=<KeyValue>;EntityPath=<EventHubName>`
`azureParameters.eventHubName`	문자열	네	이 파라미터는 이벤트가 전송되고 처리될 Event Hub의 이름을 지정합니다. 예: `my-event-hub.`

샘플 요청

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다. 상태는 처음에 CREATION_IN_PROGRESS 이며, 규칙 생성이 완료되는 데 최대 6분이 걸릴 수 있습니다.

이 API를 사용하면 계정 ID와 관련된 모든 스트림 규칙의 포괄적인 목록을 검색할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 계정 ID와 규칙 ID를 제공하여 특정 스트림 규칙에 대한 정보를 쿼리할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 기존 스트리밍 내보내기 규칙을 수정할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	업데이트할 스트리밍 규칙의 ID입니다.
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이것을 선택하십시오.
`azureParameters.eventHubConnectionString`	ID	네	이 파라미터는 특정 이벤트 허브에 대한 액세스를 제공하는 연결 문자열입니다. 다음과 유사합니다: `Endpoint=sb://<NamespaceName>.servicebus.windows.net/;SharedAccessKeyName=<KeyName>;SharedAccessKey=<KeyValue>;EntityPath=<EventHubName>`
`azureParameters.eventHubName`	문자열	네	이 파라미터는 이벤트가 전송되고 처리될 Event Hub의 이름을 지정합니다. 예: `my-event-hub.`

샘플 요청

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다.

GCP Pub/Sub 설정

GCP로 스트리밍 데이터 내보내기를 설정하려면 먼저 Pub/Sub를 설정해야 합니다. 다음 단계를 따릅니다:

Pub/Sub 주제 생성

GCP 콘솔에서 Pub/Sub 페이지로 이동합니다.
Create topic [주제 만들기를] 클릭합니다.
토픽 ID를 입력하고 Create [만들기를] 클릭하십시오.

Pub/Sub에 대한 권한을 설정하십시오.

생성된 주제의 오른쪽 열에서 More actions를 클릭하십시오.
View permissions [권한 보기]를 선택하십시오.
Add Principal을 클릭하고, 새 주체 상자에 당사가 제공한 서비스 계정 이메일을 입력하십시오:
- 미국 지역(기본): us-prod-uds-streaming-export@h0c17c65df9291b526b433650e6a0a.iam.gserviceaccount.com
- EU 지역: eu-prod-uds-streaming-export@h0c17c65df9291b526b433650e6a0a.iam.gserviceaccount.com
- JP 리전: uds-jp-production@unifieddatastreams.iam.gserviceaccount.com
Assign roles [역할을 배정하세요] 섹션에서 Pub/Sub Publisher를 검색하고 Save [저장하]를 클릭하십시오.

이 단계를 완료하면 NerdGraph를 사용하여 내보내기 규칙을 설정할 수 있습니다.

이 API를 사용하면 GCP Pub/Sub로 데이터를 전송하는 스트리밍 내보내기 규칙을 생성할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`accountId`	정수	네	귀하의 뉴렐릭 계정 ID .
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이 항목을 선택하십시오.
`gcpParameters.gcpProjectId`	문자열	네	이 파라미터는 GCP 프로젝트의 고유 식별자를 나타냅니다. 예: `google-project-id`
`gcpParameters.pubsubTopicId`	문자열	네	이 파라미터는 cloud 애플리케이션 내에서 메시지를 송수신하는 데 사용되는 GCP Pub/Sub의 주제를 지정합니다. 예: `pub-sub-topic-id.`

샘플 요청

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다. 상태는 처음에 CREATION_IN_PROGRESS 이며, 규칙 생성이 완료되는 데 최대 6분이 걸릴 수 있습니다.

이 API를 사용하면 계정 ID와 관련된 모든 스트림 규칙의 포괄적인 목록을 검색할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 계정 ID와 규칙 ID를 제공하여 특정 스트림 규칙에 대한 정보를 쿼리할 수 있습니다.

샘플 요청

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

이 API를 사용하면 기존 스트리밍 내보내기 규칙을 수정할 수 있습니다.

입력스피커, 변수

매개변수	데이터 형식	꼭 필요한가요?	설명
`id`	ID	네	업데이트할 스트리밍 규칙의 ID입니다.
`ruleParameters.description`	문자열	아니요	규칙에 대한 간단한 설명입니다. 이를 사용하여 내보내기 규칙에 대한 추가 정보나 컨텍스트를 제공하십시오.
`ruleParameters.name`	문자열	네	내보내기 규칙의 이름입니다.
`ruleParameters.nrql`	문자열	네	내보낼 텔레메트리 데이터를 선택하기 위한 NRQL입니다.
`ruleParameters.payloadCompression`	문자열	아니요	payloadCompression은(는) 두 가지 값을 허용합니다: `DISABLED`: 기본적으로 페이로드는 내보내기 전에 압축되지 않습니다. `GZIP`: 내보내기 전에 페이로드를 압축하려면 이것을 선택하십시오.
`gcpParameters.gcpProjectId`	문자열	네	이 파라미터는 Google Cloud Platform(GCP) 프로젝트의 고유 식별자를 나타냅니다. 예: `google-project-id`
`gcpParameters.pubsubTopicId`	문자열	네	이 파라미터는 cloud 애플리케이션 내에서 메시지를 보내고 받는 데 사용되는 Google Cloud Pub/Sub의 주제를 지정합니다. 예: `pub-sub-topic-id.`

샘플 요청

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

응답: 규칙 ID 및 상태가 포함된 응답을 받습니다.

수출 압축 이해

데이터를 내보내기 전에 압축하도록 선택할 수 있습니다. 이 기능은 기본적으로 꺼져 있습니다. 압축은 데이터 한도 초과를 방지하고 아웃바운드 데이터 비용을 낮추는 데 도움이 될 수 있습니다.

ruleParameters 아래의 payloadCompression 필드를 사용하여 압축을 활성화할 수 있습니다. 이 필드는 다음 값 중 하나일 수 있습니다.

DISABLED: 페이로드는 내보내기 전에 압축되지 않습니다. 지정하지 않으면 payloadCompression 이 값을 기본값으로 사용합니다.
GZIP: 내보내기 전에 GZIP 형식으로 페이로드를 압축합니다.

GZIP은 현재 사용할 수 있는 유일한 압축 형식이지만 앞으로 더 많은 형식을 사용할 수 있도록 선택할 수도 있습니다.

기존 AWS 내보내기 규칙에서 압축이 활성화되면 Kinesis Firehose의 다음 메시지에 압축된 데이터와 압축되지 않은 데이터가 모두 포함될 수 있습니다. 이는 Kinesis Firehose 내의 버퍼링 때문입니다. 이를 방지하려면 압축을 활성화하기 전에 내보내기 규칙을 일시적으로 비활성화하거나 압축된 데이터만 흐르도록 새 Kinesis Firehose 스트림을 생성할 수 있습니다.

이 문제가 발생하고 S3 또는 다른 파일 스토리지 시스템으로 내보내는 경우 다음 단계에 따라 데이터의 압축된 부분을 볼 수 있습니다.

개체를 수동으로 다운로드합니다.
압축된 데이터를 새 파일에 복사하여 개체를 두 개의 개별 파일로 분리합니다.
새로운 압축 전용 데이터 파일의 압축을 풉니다.

압축된 데이터가 있으면 이를 S3(또는 사용 중인 다른 서비스)에 다시 업로드하고 이전 파일을 삭제할 수 있습니다.

S3 또는 다른 파일 스토리지 시스템에서는 객체가 연속적으로 추가되는 여러 GZIP 인코딩 페이로드로 구성될 수 있다는 점에 유의하세요. 따라서 압축 해제 라이브러리에는 이러한 연결된 GZIP 페이로드를 처리할 수 있는 기능이 있어야 합니다.

AWS의 자동 압축 해제

데이터가 AWS에 도착하면 자동으로 압축을 풀 수 있는 옵션이 필요할 수 있습니다. 해당 데이터를 S3 버킷으로 스트리밍하는 경우 자동 압축 풀기를 활성화하는 두 가지 방법이 있습니다.

액세스 포인트는 S3 버킷의 객체에 액세스하고 다운로드할 수 있는 별도의 방법으로 작동합니다. AWS는 액세스 포인트를 통해 액세스되는 각 S3 객체에 대해 Lambda 기능을 수행하는 객체 Lambda 액세스 포인트 라는 기능을 제공합니다. 이러한 액세스 포인트를 활성화하려면 다음 단계를 따르십시오.

이 페이지 로 이동하여 서버리스 저장소 링크를 클릭하세요.
Deploy 을(를) 클릭합니다.
S3 버킷에 액세스 포인트를 설정합니다.
객체 Lambda 액세스 포인트를 생성합니다. 이 액세스 포인트에는 다음 설정이 있어야 합니다.
- 이 Lambda 액세스 포인트의 Supporting Access Point 는 S3 버킷에 설정한 액세스 포인트로 설정되어야 합니다.
- Transformation Configuration 아래:
- GetObject 선택합니다.
- 다른 압축 형식을 사용하는 경우 DecompressGZFunction Lambda 함수 또는 기타 필요한 함수를 지정하십시오.

AWS는 S3에서 다운로드한 객체에 올바른 메타데이터 세트가 있는 경우 자동으로 객체의 압축을 풉니다. 우리는 설정된 S3 객체에 다운로드된 모든 새 객체에 이 메타데이터를 자동으로 적용하는 함수를 작성했습니다. 설정 방법은 다음과 같습니다.

여기로 이동하여 리포지토리를 로컬로 복제하고 README 파일에 제공된 단계에 따라 람다 함수가 포함된 ZIP 파일을 생성하세요.
함수에 대한 IAM 역할을 생성합니다.

역할을 생성할 때 신뢰할 수 있는 엔터티 유형을 "AWS 서비스"로 설정하고 사용 사례로 "Lambda"를 설정해야 합니다.
이 역할에는 s3:PutObject 및 s3:GetObject 권한이 있는 정책이 있어야 합니다.

AWS에서 Lambda 함수 페이지 로 이동합니다.
Create function 을(를) 클릭합니다.
Java 11 런타임 환경을 선택합니다.
Change default execution role > Use an existing role 클릭합니다. 여기에 2단계에서 생성한 역할을 입력합니다.
아래로 스크롤하여 Create function 클릭합니다.
함수가 생성되면 Upload from 클릭하고 드롭다운 메뉴에서 .zip or .jar file 선택하세요.
팝업 상자에서 Upload 클릭하고 1단계에서 생성된 ZIP 파일을 선택합니다.
업로드가 완료되면 Save 클릭하여 팝업 상자를 종료하세요.
핸들러를 추가하여 Runtime settings 편집합니다. 제공된 함수에서 핸들러는 metadatasetter.App::handleRequest 입니다.
이제 남은 일은 이 Lambda 함수가 S3 객체 생성 시 트리거되도록 활성화하는 것입니다. 설정을 시작하려면 Add trigger 클릭하세요.
다운 드롭 메뉴에서 소스로 S3 선택하세요.
Bucket 필드에 메타데이터를 적용하려는 S3 버킷의 이름을 입력합니다.
이벤트 유형에서 기본 All object create events 를 제거합니다. 이벤트 유형 드롭다운 메뉴에서 PUT 선택하세요.
Recursive invocation 상자를 선택한 다음 오른쪽 하단에서 Add 클릭합니다.
이제 Lambda 함수는 새로 추가된 모든 S3 객체에 압축 메타데이터를 자동으로 추가하기 시작합니다.

Azure에서의 자동 압축 해제

데이터를 Azure로 내보내는 경우 Stream Analytics 작업을 사용하여 이벤트 허브에 저장된 개체의 압축이 풀린 버전을 볼 수 있습니다. 이렇게 하려면 다음 단계를 따르세요.

이 가이드를 16단계까지 따르세요.
- 13단계에서는 아무 문제 없이 동일한 이벤트 허브를 출력으로 사용하도록 선택할 수 있지만, 17단계로 진행하여 작업을 시작하려는 경우 이 방식은 테스트되지 않았으므로 권장하지 않습니다.
스트리밍 분석 작업의 왼쪽 창에서 Inputs을(를) 클릭한 다음 설정한 입력을 클릭하십시오.
오른쪽에 나타나는 창 아래쪽으로 스크롤하고 다음 설정으로 입력을 구성합니다.
- 이벤트 직렬화 형식: JSON
- 인코딩: UTF-8
- 이벤트 압축 유형: GZip
창 하단에서 Save 클릭합니다.
화면 측면에서 Query 클릭합니다. 이제 Input preview 탭을 사용하여 이 화면에서 이벤트 허브를 쿼리할 수 있습니다.

GCP의 자동 압축 해제

GCP Cloud Storage에서 메타데이터가 Content-Encoding: gzip으로 설정된 경우 다운로드 시 객체의 압축이 자동으로 해제됩니다. 자세한 내용은 GCP 문서를 확인하십시오.

사용자의 편의를 위해 제공되는 기계 번역입니다.

NerdGraph 튜토리얼: AWS Kinesis Firehose, Azure 이벤트 허브 또는 GCP Pub/Sub로 데이터 스트리밍하기

요구 사항 및 제한 사항 .css-21sua1{background:none;border:none;width:0;padding:0;}

전제 조건

AWS Kinesis Firehose 설정

스트리밍 내보내기 위한 Firehose 만들기

IAM Firehose 쓰기 액세스 정책 생성

뉴렐릭 쓰기 액세스 권한을 부여하기 위한 IAM 역할 생성

모든 스트림을 나열합니다.

스트림 규칙 세부정보 보기

스트림 업데이트

스트림 활성화

스트림 비활성화

스트림 삭제

Azure 이벤트 허브 설정

이벤트 허브 네임스페이스 만들기

이벤트 허브 만들기

중요

공유 액세스 정책을 만들고 첨부합니다.

스트림 생성

모든 스트림을 나열합니다.

스트림 규칙 세부정보 보기

스트림 업데이트

스트림 활성화

스트림 비활성화

스트림 삭제

GCP Pub/Sub 설정

Pub/Sub 주제 생성

Pub/Sub에 대한 권한을 설정하십시오.

스트림 생성

모든 스트림을 나열합니다.

스트림 규칙 세부정보 보기

스트림 업데이트

스트림 활성화

스트림 비활성화

스트림 삭제

수출 압축 이해

AWS의 자동 압축 해제

객체 Lambda 액세스 포인트

메타데이터 설정 Lambda 함수

Azure에서의 자동 압축 해제

GCP의 자동 압축 해제

요구 사항 및 제한 사항