Réduire les données ingérées

Si vous avez revu votre ingestion de données et souhaitez envoyer moins de données et réduire les données ingérées, nous avons ces solutions pour vous :

• Ensemble global.lowDataMode

• Modifier l'intervalle de grattage

• Filtrer l'espace de nommage

Expliquons chaque option.

Réduisez les données ingérées en définissant global.lowDataMode

Si vous cherchez à réduire les coûts, vous pouvez modifier la valeur du paramètre global.lowDataMode . Cela réduira le nombre de métriques que vous envoyez. La modification de ce paramètre dépendra de la méthode que vous avez utilisée pour installer Kubernetes :

• Installation guidée (New Relic CLI, Helm, manifeste). La commande d'installation inclut lowDataMode par défaut car elle possède ces paramètres : NRI_CLI_LOW_DATA_MODE, NRI_CLI_PROMETHEUS_AGENT_LOW_DATA_MODE et NRI_CLI_LOGGING_LOW_DATA_MODE.

• Helm. Définissez le paramètre global.lowDataMode dans le graphiquenri-bundle sur vrai.

• Manifeste. LowDataMode est uniquement destiné aux graphiques Helm, et les graphiques Helms sont des modèles appliqués aux manifestes. Lorsque quelqu'un applique LowDataMode dans le graphique Helm, cela apporte quelques petites modifications au manifeste final. Les modifications dans les manifestes concernent des paramètres spécifiques, mais pas un paramètre nommé LowDataMode.

Le paramètre lowDataMode affecte ces composants spécifiques du graphique nri-bundle :

[
  {
    "cluster_name": "api-test",
    "kubernetes": {
      "annotations": {
        "kubernetes.io/psp": "eks.privileged"
      },
      "container_hash": "fryckbos/test@sha256:5b098eaf3c7d5b3585eb10cebee63665b6208bea31ef31a3f0856c5ffdda644b",
      "container_image": "fryckbos/test:latest",
      "container_name": "newrelic-logging",
      "docker_id": "134e1daf63761baa15e035b08b7aea04518a0f0e50af4215131a50c6a379a072",
      "host": "ip-192-168-17-123.ec2.internal",
      "labels": {
        "app": "newrelic-logging",
        "app.kubernetes.io/name": "newrelic-logging",
        "controller-revision-hash": "84db95db86",
        "pod-template-generation": "1",
        "release": "nri-bundle"
      },
      "namespace_name": "nrlogs",
      "pod_id": "54556e3e-719c-46b5-af69-020b75d69bf1",
      "pod_name": "nri-bundle-newrelic-logging-jxnbj"
    },
    "message": "[2021/09/14 12:30:49] [ info] [engine] started (pid=1)\n",
    "plugin": {
      "source": "kubernetes",
      "type": "fluent-bit",
      "version": "1.8.1"
    },
    "stream": "stderr",
    "time": "2021-09-14T12:30:49.138824971Z",
    "timestamp": 1631622649138
  }
]

[
  {
    "cluster_name": "api-test",
    "container_name": "newrelic-logging",
    "namespace_name": "nrlogs",
    "pod_name": "nri-bundle-newrelic-logging-jxnbj",
    "message": "[2021/09/14 12:30:49] [ info] [engine] started (pid=1)\n",
    "stream": "stderr",
    "timestamp": 1631622649138
  }
]

HTTP_SPAN_LIMIT: 750
DB_SPAN_LIMIT: 250
COLLECT_INTERVAL_SEC: 15

Réduisez les données ingérées en modifiant l'intervalle de récupération

L'intégration New Relic Kubernetes vous permet de modifier l'intervalle de scraping lorsque les métriques sont collectées à partir du cluster. Cela vous permet de choisir le bon équilibre entre la résolution et l’utilisation des données. Nous vous suggérons de choisir un intervalle de grattage compris entre 15 et 30 secondes pour une expérience optimale.

La manière dont vous modifiez l’intervalle de scraping dépend de la méthode que vous avez utilisée pour installer Kubernetes :

• Installation guidée (New Relic CLI, Helm, manifest) : Vous ne pouvez pas modifier cette valeur en suivant notre flux d'installation guidée.

• Helm: définissez l'intervalle de grattage dans le graphiquenri-bundle sur la valeur souhaitée.

• Manifeste: définissez l’intervalle de scraping dans le fichier de configuration du manifeste YAML sur la valeur souhaitée. Si vous avez suivi nos instructions d'installation, le fichier s'appelait newrelic-manifest.yaml.

Si vous utilisez Helm ou manifest et que vous souhaitez modifier l'intervalle de scraping, ajoutez simplement la valeur de l'intervalle sous la section newrelic-infrastructure . Jetez un œil à cet exemple du fichier values-newrelic.yaml pour voir à quoi il ressemble pour Helm :

global:
  licenseKey: _YOUR_NEW_RELIC_LICENSE_KEY_
  cluster: _K8S_CLUSTER_NAME_

# ... Other settings

# Configuration for newrelic-infrastructure
newrelic-infrastructure:
  # ... Other settings
  common:
    config:
      interval: 25s

Réduisez les données ingérées en filtrant l’espace de nommage

Vous pouvez étiqueter espace de nommage pour filtrer ceux que l'intégration Kubernetes gratte. Tous les espaces de nommage scrapent par défaut.

Nous utilisons le namespaceSelector de la même manière que Kubernetes. Pour inclure uniquement les espaces de nommage correspondant à une étiquette, modifiez simplement le namespaceSelector. Ajoutez ce qui suit à votre fichier values-newrelic.yaml , sous la section newrelic-infrastructure :

common:
  config:
    namespaceSelector:
      matchLabels:
        key1 : "value1"

Exemples avec espace de nommage

global:
licenseKey: _YOUR_NEW_RELIC_LICENSE_KEY_
cluster: _K8S_CLUSTER_NAME_

# ... Other settings 

# Configuration for newrelic-infrastructure
newrelic-infrastructure:
# ... Other settings 
common:
    config:
    namespaceSelector:
        matchLabels:
        newrelic.com/scrape: "true"

common:
config:
    namespaceSelector:
    matchExpressions:
    - {key: newrelic.com/scrape, operator: NotIn, values: ["false"]}
    - {key: key1, operator: In, values: ["value1"]}

global:
licenseKey: _YOUR_NEW_RELIC_LICENSE_KEY_
cluster: _K8S_CLUSTER_NAME_

# ... Other settings 

# Configuration for newrelic-infrastructure
newrelic-infrastructure:
# ... Other settings
common:
    config:
    namespaceSelector:
        matchExpressions:
        - {key: newrelic.com/scrape, operator: NotIn, values: ["false"]}

Vous pouvez voir une liste complète des paramètres que vous pouvez modifier dans le fichier README du graphique.

Comment puis-je savoir quels espaces de nommage sont exclus ?

L'échantillon K8sNamespace montre tout l'espace de nommage au sein du cluster. L'attribut nrFiltered détermine si nous allons extraire les données liées à l'espace de nommage. Cette requête vous montre quels espaces de nommage sont monitorés :

FROM K8sNamespaceSample SELECT displayName, nrFiltered WHERE clusterName = <clusterName> SINCE 2 MINUTES AGO

Quelles données sont supprimées de l’espace de nommage exclu ?

Ces échantillons ne seront pas disponibles pour l'espace de nommage exclu :

• K8sContainerSample
• K8sDaemonsetSample
• K8sDeploymentSample
• K8sEndpointSample
• K8sHpaSample
• K8sPodSample
• K8sReplicasetSample
• K8sServiceSample
• K8sStatefulsetSample
• K8sVolumeSample