Transférer le log depuis Google Cloud Platform

Commencez par créer une URL d'ingestion pour votre rubrique GCP Pub/Sub :

1. Accédez à l’ interface utilisateurIntegrations & Agents , cliquez sur Logging, puis sur Google Cloud Platform.

2. Sélectionnez le compte New Relic vers lequel vous souhaitez transférer le log et cliquez sur Continue.

3. Facultatif : configurez les métadonnées (paires attribute-value) à inclure dans chaque événement de log envoyé à l'URL d'ingestion que vous générerez à l'étape suivante.

4. Cliquez sur Generate URL.

5. Copiez votre ingest URL nouvellement généré et conservez-le dans un endroit sûr.

   Vous utiliserez votre nouvelle URL d’ingestion pour configurer une rubrique Pub/Sub qui envoie le log à New Relic.

Ensuite, vous allez créer la rubrique GCP Pub/Sub que votre URL d’ingestion utilisera.

1. Accédez à la console GCP Pub/Sub.
2. Cliquez sur Create Topic.
3. Saisissez un Topic ID significatif, puis configurez d’autres options selon vos besoins.
4. Cliquez sur Create Topic.

Une fois que vous avez créé votre sujet Pub/Sub, créez un abonnement pour celui-ci.

1. Revenir à la console GCP Pub/Sub.

2. Cliquez sur la rubrique Pub/Sub que vous avez créée précédemment.

3. Faites défiler vers le bas et sélectionnez l’onglet Subscriptions , puis cliquez sur Create Subscription et sélectionnez Create a simple subscription.

   

4. Entrez un Subscription ID. Ensuite, sous Delivery Type, sélectionnez Push.

5. Dans le champ Endpoint URL , collez l’ URL d’ingestion que vous avez générée précédemment.

6. Configurez les paramètres restants selon vos besoins et cliquez sur Create.

Pour terminer la configuration, créez un récepteur de routage pour votre rubrique GCP Pub/Sub qui transmettra votre log à New Relic.

1. Accédez à la console du routeur du log GCP.
2. Cliquez sur Create Sink.
3. Entrez un Sink name et Sink description, puis cliquez sur Next.
4. Sous Select sink service, sélectionnez Cloud Pub/Sub topic et sélectionnez la rubrique Pub/Sub que vous avez créée précédemment.
5. Configurez les filtres restants selon vos besoins, puis cliquez sur Create sink pour terminer la configuration.

Exécutez la commande suivante et suivez l’invite pour vous connectez à GCP et sélectionner votre projet cloud :

$
gcloud init

À l'aide de l'assistant, vous sélectionnerez un projet cloud à utiliser et vous pourrez éventuellement sélectionner une région et une zone de calcul par défaut pour les ressources que vous créez à l'aide de gcloud ou gsutil. Nous ne présumerons pas de projet, d’emplacement ou de région par défaut pour les commandes suivantes.

1. Clonez le référentiel GitHub DataflowTemplates à l'aide de la commande suivante :

   bash

   Copier

   $
   git clone https://github.com/newrelic-forks/DataflowTemplates.git

2. Entrez dans le répertoire que vous venez de créer :

   bash

   Copier

   $
   cd DataflowTemplates

   Passez ensuite à la section suivante pour exécuter des commandes supplémentaires.

Pour définir la configuration requise pour compiler et exécuter le transitaire Dataflow, exécutez les commandes suivantes dans votre répertoire DataflowTemplates . Les seules valeurs requises sont :

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  Vous pouvez laisser les autres valeurs par défaut telles quelles.

  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  PROJECT_ID=<your_project_id>
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  # New Relic license key
  NR_LICENSE_KEY=<your_newrelic_license_key>
  # Input PubSub subscription to read logs from
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  
  # Region where the created resources will be placed
  REGION=us-west1
  # Service account used to execute the Dataflow template
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  # File name where the service account credentials will be stored
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  # The name your Dataflow log forwarder job will have
  JOB_NAME=nr-log-forwarder

  Copier

Créez un bucket dans GCP pour contenir le modèle Dataflow généré en exécutant la commande suivante :

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

Exécutez les commandes suivantes :

1. Créer le compte de service :

   bash

   Copier

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. Accorder des autorisations au compte de service :

   bash

   Copier

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. Générer le fichier de clé de compte de service :

   bash

   Copier

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. Faites référence à votre fichier de clé de compte de service à l’aide de la variable d’environnement GOOGLE_APPLICATION_CREDENTIALS , car elle sera utilisée par les commandes suivantes :

   bash

   Copier

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

Exécutez la commande suivante :

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

Exécutez la commande suivante pour démarrer l'expédition du log à l'aide d'une tâche Dataflow qui lit à partir de votre rubrique Pub/Sub :

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

Cette commande ne nécessite que ces deux valeurs :

• L'abonnement PubSub d'entrée utilisé pour lire le message de log
• New Relic clé de licenceutilisée pour envoyer votre log

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

Voici une référence des options disponibles que vous pouvez utiliser pour optimiser davantage l'exécution de votre travail de redirecteur de logDataflow.

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}