Si vos données log sont déjà monitorées par Amazon CloudWatch Log, vous pouvez utiliser notre intégration Kinesis Data Firehose pour transférer et enrichir vos données log dans New Relic. Kinesis Data Firehose est un service capable de diffuser des données en temps réel vers diverses destinations, y compris notre plateforme.
Le transfert CloudWatch de votre log ou d'un autre log compatible avec un flux Kinesis vers New Relic vous offrira des capacités améliorées pour collecter, traiter, explorer, interroger et alerter sur vos log données .
Important
Si vous êtes un client FedRAMP, vous ne devez pas activer la diffusion log à l'aide de Kinesis Data Firehose, car l'intégration d'AWS Kinesis Data Firehose n'est actuellement pas autorisée par FedRAMP.
Créer le flux de livraison pour New Relic
Pour transférer votre log de Kinesis Data Firehose vers New Relic :
Assurez-vous d'avoir un .
Suivez les procédures pour créer un flux de diffusion Amazon Kinesis Data Firehose et sélectionnez New Relic comme destination : Dans la console de gestion AWS, accédez à Amazon Kinesis.
Sélectionnez Kinesis Data Firehose et cliquez sur Create delivery stream.
Saisissez un nom pour le flux et sélectionnez votre source de données.
Lors de la sélection de la destination, cliquez sur Third-party partner puis New Relic.
Sous HTTP endpoint URL, sélectionnez New Relic logs - US. Il s'agit du point de terminaison américain (https://aws-api.newrelic.com/firehose/v1). Pour utiliser le point de terminaison UE, suivez les étapes restantes de cette procédure, puis accédez à la configuration du compte UE.
Collez votre dans le champ API key .
Assurez-vous que Content encoding est défini sur
GZIP.Définissez un buffer size de
1 MiBsousBuffer hints/Buffer size. (Notez que la sectionBuffer hintsest pliée par défaut. Pour plus d'informations, consultez la section Paramètres de la mémoire tampon.Configurez et révisez les paramètres de métadonnées restants.
Toutes les paires valeur/clé facultatives que vous ajoutez dans la console de gestion AWS généreront des paires attribut/valeur que vous pourrez utiliser dans New Relic. Kinesis Data Firehose inclut ces paires valeur-clé dans chaque appel HTTP. Ces paramètres Kinesis Firehose peuvent vous aider à identifier et à organiser vos destinations.
Configurer la taille et l’intervalle du tampon
Lors de la sélection de notre intégration Kinesis Firehose pour la connexion à AWS, l'assistant masque une petite section appelée Buffer hints en bas de l'écran. Cette section contient deux options de configuration très importantes : Buffer size et Buffer interval.
Les valeurs par défaut sont 5 Mio pour Buffer size et 60 secondes pour Buffer interval. Cela signifie que Firehose accumule les logs jusqu'à ce qu'ils contiennent 5 Mio de données ou jusqu'à ce que 60 secondes se soient écoulées depuis la dernière fois qu'ils ont été vidés vers New Relic.
Important
Ces paramètres par défaut ne conviennent pas à la gestion des logdans New Relic. Nous vous conseillons fortement d'utiliser 1 Mio comme Buffer size et d'activer la compression du corps GZIP.
Pourquoi le recommandons-nous ? New Relic accepte au maximum 1 Mo (1 000 000 octets) pour une requête HTTP POST individuelle vers son API de Log. Si la taille du log accumulé dépasse 1 Mo pendant une période d'accumulation de 60 secondes, nous rejetterons ces logs avec une erreur HTTP 413 .
Le flux de livraison permet de configurer, au minimum, une taille de tampon de 1 Mio (1 048 576 octets). Même si cette valeur est légèrement supérieure à la limite de 1 Mo autorisée par l'API de Log de New Relic, vous pouvez utiliser la compression GZIP afin que la charge résultante soit inférieure à la limite de 1 Mo.
Configurez votre flux pour envoyer le log aux comptes de l'UE
Si vous avez un compte New Relic dans notre data center européen :
Suivez les procédures standard pour créer votre flux de livraison.
Une fois votre flux créé, accédez à la console Amazon Kinesis et cliquez sur Delivery streams.
Cliquez sur le nom de votre flux de diffusion nouvellement créé et sélectionnez l’onglet Configuration .
À côté de la section Destination settings , cliquez sur Edit.
Mettez à jour la valeur de HTTP endpoint URL sur notre point de terminaison Firehose pour les comptes de l'UE :
https://aws-api.eu.newrelic.com/firehose/v1Cliquez sur Save changes pour vous assurer que votre flux est mis à jour.
Ce document vous a-t-il aidé lors de votre installation ?
Afficher les données log
Si tout est configuré correctement et que vos données sont collectées, vous devriez voir les données log à ces deux endroits :
- Notre UI de logs
- Nos outils pour exécuter des requêtes NRQL . Par exemple, vous pouvez exécuter une requête comme celle-ci :
SELECT * FROM LogSi aucune donnée n'apparaît après avoir activé nos fonctionnalités de gestion des log , suivez nos procédures standard de dépannage log .
Quelle est la prochaine étape ?
Explorez les données de logging sur votre plateforme avec notre interface utilisateur de logs.
- Obtenez une visibilité plus approfondie sur les données de performances de votre application et de votre plateforme en transmettant votre log avec nos capacités de logs en contexte .
- Configurer des alertes.
- interrogez vos données et créez un dashboard.
Désactiver le transfert de log
Pour désactiver les fonctionnalités de transfert de log , suivez les procédures standard dans la documentation de Kinesis Data Firehose. Vous n'avez rien d'autre à faire dans New Relic.