Configurer monitoring du log de flux Amazon VPC

Le log Amazon Virtual Private Cloud Flow (VPC) via Amazon Kinesis Data Firehose vous aide à réduire les frictions liées à l'envoi du log à New Relic. Avec le log de flux VPC de l'ensemble de vos domaines AWS, vous pouvez rapidement comprendre les informations clés détaillées pour l'analyse des performances et le dépannage de la connectivité réseau.

Amazon Virtual Private Cloud (VPC) vous permet de lancer des ressources AWS dans un réseau virtuel isolé et sécurisé avec les avantages de l'utilisation infrastructure AWS évolutive.

Prérequis

Prérequis pour New Relic

• Un compte New Relic. Vous n'en avez pas ? Inscrivez-vous gratuitement ! Aucune carte de crédit requise.

Prérequis AWS

• Environnement:

  • AWS CLI (v 1.9.15+) installé.
  • Une liste des régions AWS dans lesquelles vous collectez le log Amazon VPC Flow.
  • ID VPC qui seront configurés pour expédier le log de flux VPC. Si vous souhaitez un contrôle plus précis, spécifiez les ID de sous-réseau au lieu des ID de VPC.

• Autorisations :

  • Un utilisateur AWS avec des autorisations pour créer un log de flux VPC.
  • Autorisations de lecture et d'écriture du fichier de log Amazon S3 pour le propriétaire de la livraison log .
  • Autoriser Kinesis Data Firehose à assumer un rôle IAM.

• Noms de ressources Amazon (ARN):

  • ARN d'un bucket S3 avec autorisations pour stocker les messages de flux non livrés de log.
  • Si vous souhaitez activer l'échantillonnage, vous aurez besoin de l'ARN du rôle IAM de Lambda.
  • ARN pour Kinesis Data Firehose avec accès au bucket S3.

    Conseil

    Nous vous recommandons de créer un nouveau Firehose de données avec notre guide d'installation la première fois que vous configurez le log de flux VPC pour une région spécifique. Pour les VPC et sous-réseaux suivants dans la même région, vous pouvez réutiliser le Firehose de données existant.

Rôles IAM

Si vous configurez l'intégration du log de flux à l'aide de l'AWS CLI, vous devez fournir un ou deux rôles IAM pour différents composants infrastructure . Si vous utilisez CloudFormation, vous pouvez soit fournir vos propres rôles, soit laisser le modèle définir de nouveaux rôles.

Les rôles nécessaires doivent avoir au moins les autorisations suivantes :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>",
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>/*"
      ]
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": ["lambda:InvokeFunction", "lambda:GetFunctionConfiguration"],
      "Resource": [
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda",
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda:*"
      ]
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "logs:CreateLogGroup",
      "Resource": "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:*",
      "Effect": "Allow"
    },
    {
      "Action": ["logs:CreateLogStream", "logs:PutLogEvents"],
      "Resource": [
        "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:log-group:/aws/lambda/NewRelic-Flow-Sampling-Lambda:*"
      ],
      "Effect": "Allow"
    }
  ]
}

Formater votre log dans New Relic

Pour utiliser l'exploration log de flux organisé et la liaison d'entité, vous devez suivre ce format pour le log de flux VPC :

$
${version} ${account-id} ${region} ${az-id} ${sublocation-type} ${vpc-id} ${subnet-id} ${instance-id} ${interface-id} ${srcaddr} ${pkt-srcaddr} ${pkt-src-aws-service} ${dstaddr} ${pkt-dstaddr} ${pkt-dst-aws-service} ${srcport} ${dstport} ${protocol} ${packets} ${bytes} ${flow-direction} ${traffic-path} ${start} ${end} ${action} ${log-status}

Vous devez utiliser une partitionlog pour le log de flux VPC nommée Log_VPC_Flows_AWS. Si vous utilisez l'installation guidée, celle-ci est gérée automatiquement.

Configurer monitoring des logs de flux Amazon VPC dans New Relic

Suivez l’assistant guidé pour installer le log Amazon VPC Flow :

1. Démarrez le guided install process.
2. Dans la liste déroulante Select an account , choisissez le compte New Relic vers lequel vous souhaitez envoyer le log Amazon VPC Flow, puis cliquez sur Continue.
3. Dans la section Select your data , choisissez Amazon VPC Flow Logs et cliquez sur Continue.
4. Dans la section Select your install method , continuez avec CLI et cliquez sur Continue.

Après ces étapes, un nouvel assistant apparaît pour vous aider à configurer l’envoi du log Amazon VPC Flow à New Relic via le service AWS Kinesis Firehose .

1. Dans la section Choose Setup Options :

   • Vérifiez que votre méthode de configuration est correcte.
   • Sélectionnez la région AWS qui enverra le log de flux VPC à New Relic.
   • Si vous réutilisez un Kinesis Data Firehose, cochez la case I already have a Kinesis Firehose to New Relic et passez à la section Define flow logs .
   • Cliquez sur Continue.

2. Dans la section Define Kinesis Firehose :

   • Dans le champ Kinesis Firehose Name , assurez-vous que le nom généré est correct.
   • Dans le champ Firehose Backup Bucket , saisissez l’ ARN du bucket S3 à utiliser pour stocker les messages dont la livraison échoue. L'ARN doit suivre ce format : arn:my_string.
   • Dans le champ Firehose IAM Role , saisissez l’ ARN du rôle IAM à utiliser par Kinesis Data Firehose. L'ARN doit suivre ce format : arn:my_string.
   • Cliquez sur Continue.
   • En option, si vous souhaitez échantillonner le log de flux VPC, cochez la case Use Sampling et :

   Utiliser l'échantillonnage Lambda

   • Tout d’abord, dans la section Define Sampling Lambda , procédez comme suit :

     • Dans le champ Lambda Name , assurez-vous que le nom généré pour la fonction Lambda est correct. Si vous avez des normes de dénomination Lambda spécifiques, modifiez le nom.
     • Dans le champ Sample Rate , spécifiez la fréquence d’échantillonnage à appliquer. Par défaut, il est défini sur 1:10.

   • Ensuite, dans la section Create Sampling Lambda , cliquez sur Generate CLI Command et :

     • Copiez le contenu du bloc de code pour Create your sampling Lambda et exécutez-le dans l'AWS CLI.
     • Pour vérifier si votre Lambda est créé, exécutez la commande de la deuxième étape dans l'AWS CLI.
     • Copiez l'ARN renvoyé pour la fonction Lambda et collez-le dans le champ Sampling Lambda ARN au format arn:my_string. Cliquez ensuite sur Continue.

     Conseil

     L'échantillonnage est une fonction de comptage simple, mais elle réduira le volume du log de flux expédié à New Relic. Les données échantillonnées à l'aide de cette fonction Lambda peuvent manquer une conversation spécifique dans New Relic. Faites attention aux légendes indiquant les données échantillonnées dans l'interface utilisateur du réseau monitoring de New Relic.

3. Dans la section Generate Kinesis Firehose , cliquez sur Generate CLI Command et :

   Conseil

   Nous générons automatiquement un nouveau clé de licenceà utiliser pour cette ingestion de données. Pour régénérer une clé, cliquez sur Generate and use a new key.

   Si vous souhaitez réutiliser une clé existante, mettez à jour la valeur AccessKey à la première étape.

   • Copiez le contenu du bloc de code pour Create your Kinesis Data Firehose et collez-le et exécutez-le dans l'AWS CLI.
   • Pour vérifier si votre Kinesis Firehose est créé, exécutez la commande de la deuxième étape dans l'AWS CLI. Si aucun ARN n'est renvoyé, attendez 30 secondes et réessayez.
   • Copiez l'ARN renvoyé pour Kinesis Firehose et collez-le dans le champ Kinesis Data Firehose ARN au format arn:my_string. Cliquez ensuite sur Continue.
   

4. Dans la section Define Flow Logs , procédez comme suit :

   • Dans la liste déroulante Traffic Type, sélectionnez si vous souhaitez envoyer uniquement les entrées acceptées, uniquement celles rejetées ou toutes les entrées log de flux.
   • Dans le champ Flow Source ID , saisissez l'ID VPC (vpc-MY_STRING) ou l'ID de sous-réseau (subnet-MY_STRING) pour lequel le log Amazon VPC Flow doit être créé.
   • Le champ Flow Source Type sera automatiquement renseigné, cliquez donc sur Continue.

5. Dans la section Create Flow Logs , cliquez sur Generate CLI Command et copiez le contenu du bloc de syntaxe. Ensuite, exécutez-le dans l’AWS CLI pour commencer à générer un log de flux pour les ressources spécifiées.

6. Cliquez sur Continue pour commencer à explorer le log Amazon VPC Flow dans la section réseau monitoring de New Relic.

7. Visualisez vos données de performances réseau dans New Relic.