Intégration d'Amazon SageMaker

En intégrant l'intégration d'Amazon SageMaker avec New Relic, vous serez en mesure d' intrumenter, d'analyser, de dépanner et d'optimiser les performances de votre machine learning sur l'ensemble de votre système. Observez rigoureusement vos capacités à réagir rapidement aux changements dans l’entrée ou la sortie du modèle et la relation entre les deux.

Suivez les étapes suivantes pour monitorer vos métriques et objets Amazon SageMaker (qui sont envoyés à AWS CloudWatch) et les afficher en tant qu'entité et dashboard dans New Relic.

Pour un aperçu de notre intégration SageMaker en action, regardez cette courte vidéo YouTube (2:57 minutes).

Diffusez les métriques AWS CloudWatch vers New Relic

Commencez à bénéficier du monitoring des performances des modèles d'entité New Relic en une seule étape simple (et seulement quelques minutes !) :

FROM Metric SELECT * WHERE aws.Namespace = '/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

Option manuelle

Suivez nos documents pour configurer le flux de métriques CloudWatch.

Option automatisée

Vous pouvez automatiser la configuration avec le code Terraform:

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix    = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "YOUR_INGEST_LICENSE_KEY"
}

Lors de l'appel du module, veuillez écrire le newrelic_collector_endpoint correct :

• URL du point de terminaison HTTP - Centre de données américain : https://aws-api.newrelic.com/cloudwatch-metrics/v1
• URL du point de terminaison HTTP - Centre de données de l'UE : https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

Lorsque vous définissez le flux métrique, vous pouvez choisir de diffuser le flux métrique à partir de tout l'espace de nommage, ou vous pouvez spécifier l'espace de nommage.

Monitorez vos données et votre modèle dans Amazon SageMaker et envoyez les métriques à CloudWatch

SageMaker monitore automatiquement les performances de votre point de terminaison et envoie des mesures statistiques à CloudWatch. Pour plus d'informations, consultez point de terminaison métriques CloudWatch.

Pour bénéficier davantage de l’intégration d’Amazon SageMaker, utilisez les outils de monitoring du modèle Amazon SageMaker. Vous devrez définir des tâches monitoring planifiées pour monitorer la qualité de vos modèles d'apprentissage machine en production et envoyer des métriques à CloudWatch.

Le Amazon SageMaker Model Monitor fournit les types de monitoring suivants :

• Monitorer Data Quality: dérive du moniteur dans la qualité des données.

  • Exemple de bloc-notes : moniteur de modèles Amazon SageMaker
  • espace de nommage: aws/sagemaker/Endpoints/data-metrics

• Monitorer Model Quality: dérive du moniteur dans les mesures de qualité du modèle, telles que la précision.

  • Exemple de bloc-notes : moniteur de qualité des modèles Amazon SageMaker
  • espace de nommage: aws/sagemaker/Endpoints/model-metrics

• Dérive du biais du moniteur pour les modèles en production: biais du moniteur dans les prédictions de votre modèle.

  • Exemple de bloc-notes : monitoring de la dérive des biais et de la dérive d'attribution des fonctionnalités Amazon SageMaker Clarify
  • espace de nommage: aws/sagemaker/Endpoints/bias-metrics

• Monitorer la dérive d'attribution des fonctionnalités pour les modèles en production: monitorer la dérive dans l'attribution des fonctionnalités.

  • Exemple de bloc-notes : monitoring de la dérive des biais et de la dérive d'attribution des fonctionnalités Amazon SageMaker Clarify
  • espace de nommage: aws/sagemaker/Endpoints/explainability-metrics

Options avancées

Vous pouvez également publier des points de données métriques sur Amazon CloudWatch et définir l'espace de nommage et l'un des éléments ci-dessus à l'aide de la fonctionput_metric_data .

Si vous utilisez votre propre algorithme pour le réglage des hyperparamètres, assurez-vous qu'il envoie au moins une métrique en écrivant des données d'évaluation dans stderr ou stdout. En savoir plus sur la façon de définir des métriques dans le réglage automatique du modèle. Voir également l'exemple de bloc-notes Développer, former, optimiser et déployer Scikit-Learn Random Forest.

Explorez votre entité et votre dashboard

Nous générons aws-entities (sous le domaine de l'entité MLOps) pour l'espace de nommage détaillé. Pour ces entités, vous pouvez obtenir des dashboardset des vues prêts à l'emploi. Vous pouvez également créer votre propre dashboard pour afficher les métriques qui ne sont pas affichées dans le cadre des vues de l'entité.

Accédez à one.newrelic.com > All capabilities > Model performance pour voir :

• Le dashboard des métriques du point de terminaison d'une des entités Amazon SageMaker

• Le dashboard de l'entité de données du modèle