AWS Lambda pour l'envoi du log depuis S3

Vous pouvez envoyer vos buckets Amazon S3 à New Relic en utilisant notre fonction AWS Lambda, NewRelic-log-ingestion-s3. Cela peut être facilement déployé à partir du référentiel d'applications AWS Serverless .

Le transfert du log de votre bucket S3 vers New Relic vous offrira des gestion des logscapacités améliorées pour collecter, traiter, explorer, interroger et alerter sur vos log données .

Installer la fonction Lambda

Pour installer la fonction Lambda pour transférer votre log S3 vers New Relic :

1. Assurez-vous d'avoir un clé de licence.
2. Ouvrez le référentiel d’applications AWS Serverless dans votre navigateur.
3. Assurez-vous que Lambda est installé dans la même région que le bucket S3.
4. Recherchez newrelic et vérifiez Show apps that create custom IAM roles or resource policies pour trouver NewRelic-log-ingestion-s3.
5. Cliquez sur les détails NewRelic-log-ingestion-s3 et cliquez sur Deploy.
6. Faites défiler jusqu'au Application settings et entrez votre New Relic clé de licence.
7. Profitez des capacités d'analyse des logde New Relic en spécifiant logtype comme variable d'environnement pour la fonction Lambda. Pour plus d’informations, voir Ensembles de règles d’analyse intégrés.
8. Confirmez que l’application crée des rôles IAM personnalisés, puis cliquez sur Deploy.
9. Une fois la fonction déployée, créez un déclencheur Lambda .

Installation manuelle à l'aide du framework Serverless

Vous pouvez installer et configurer manuellement Lambda à partir du terminal à l'aide du framework Serverless . Si vous n’utilisez pas Linux, installez d’abord Docker et laissez-le fonctionner.

$
# Clone the repository
$
git clone https://github.com/newrelic/aws_s3_log_ingestion_lambda.git
$
# Install serverless package and the repo dependencies
$
npm install -g serverless
$
npm install
$
# Set the New Relic License Key env variable
$
export LICENSE_KEY=YOUR_NEWRELIC_LICENSE_KEY
$
# Set the logtype (optional)
$
export LOG_TYPE=YOUR_LOGTYPE
$
# Set the S3 bucket name
$
export S3_BUCKET_NAME=YOUR_S3_BUCKET_NAME
$
# The S3 subdirectory (optional)
$
export S3_PREFIX=YOUR_S3_SUBDIRECTORY
$
# Choose a name for your new Serverless Framework service
$
export SERVICE_NAME=YOUR_SERVICE_NAME
$
# Install the serverless-python-requirements plugin
$
serverless plugin install -n serverless-python-requirements
$
# Package the application files and dependencies into a deployment-ready file for deployment
$
serverless package
$
# Deploy the function, specifying the same region as your S3 bucket listed above
$
serverless deploy --region YOUR_AWS_REGION

Créer un déclencheur Lambda dans AWS

Pour diffuser votre log vers New Relic, attachez un déclencheur au Lambda:

1. Dans le menu de gauche, cliquez sur Functions.
2. Recherchez et sélectionnez la fonction NewRelic-s3-log-ingestion précédemment créée.
3. Sous Designer, cliquez sur Add Triggers et sélectionnez S3 dans la liste déroulante.
4. Sélectionnez le bucket S3 qui contient le log que vous souhaitez envoyer à New Relic.
5. Configurez éventuellement un préfixe et un suffixe. Ceci est utile si vos logs se trouvent dans un sous-répertoire.
6. Cochez la case Enable trigger , puis Add le déclencheur.

Pour tester la fonction Lambda, téléchargez un nouveau fichier de log dans le bucket S3 que vous avez configuré dans les paramètres de la fonction, puis affichez vos données log .

Limites

• La taille maximale du fichier log prise en charge est de 35 Mo non compressé.
• La taille maximale de ligne log individuelle prise en charge est de 0,25 Mo.
• Les fichiers log cryptés ne sont pas pris en charge.

Afficher les données log

Si tout est configuré correctement et que vos données sont collectées, vous devriez voir les données log à ces deux endroits :

• Notre UI de logs
• Nos outils pour exécuter des requêtes NRQL .

Par exemple, vous pouvez exécuter une requête comme celle-ci :

SELECT * FROM Log

Dépannage

Si vous rencontrez des problèmes avec la configuration de votre redirecteur de log , essayez ces conseils de dépannage.

An error occurred when creating the trigger: Configurations overlap. Configurations on the same bucket cannot share a common event type.

Error: docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

Quelle est la prochaine étape ?

Explorez les données de logging sur votre plateforme.

• Obtenez une visibilité plus approfondie sur les données de performances de votre application et de votre plateforme en transmettant votre log avec nos capacités de logs en contexte .
• Configurer des alertes.
• interrogez vos données et créez un dashboard.

Désactiver le transfert de log

Pour désactiver les fonctionnalités de transfert de log , suivez les procédures standard dans la documentation Amazon S3. Vous n'avez rien d'autre à faire dans New Relic.