이상 감지

이상 징후 탐지는 시스템의 비정상적인 동작에 대해 유연하고 적응력 있는 모니터링을 팀에 제공합니다. 고정된 임계값에 의존하는 대신 데이터의 정상적인 패턴을 학습하고 자동으로 조정하여 잘못된 경보와 공지 피로를 줄입니다. 민감도를 조정하고, 공지에 사용자 지정 컨텍스트를 추가하며, 뉴렐릭이 기준 추세를 자동으로 학습하도록 하거나 직접 설정할 수 있습니다.

빠른 시작 가이드

• 이상 감지 사용 시기
• 이상 감지 작동 방식
• 임계값 설정
• 계절성 설정
• 이상 징후 방향
• 알림이 발생하는 시점 이해
• 다중 신호 조건
• 신호 데이터를 사용하여 임계값을 조정하십시오.
• 일반적인 문제 해결

이상 징후 탐지와 정적 임계값 사용 시기 비교

정적 임계값은 고정된 숫자에 고정됩니다. 이상 징후 탐지는 시간이 지남에 따라 신호의 예상되는 수학적 동작을 평가합니다. 이 표를 사용하여 메트릭에 적합한 모델을 선택하십시오:

이상 감지 작동 방식

뉴렐릭은 과거 추세를 평가하여 예측된 기준과 그 주변의 허용 가능한 변동 구간(회색 대역)을 구축합니다:

• 학습 단계: 뉴렐릭은 1-4주 동안 데이터를 관찰하고 “월요일은 항상 바쁩니다.” 또는 “오후 6시에 트래픽이 감소합니다.”와 같은 패턴을 학습합니다.
• 예측: 시스템은 과거 패턴을 기반으로 다음 데이터 포인트가 무엇인지 예측합니다.
• 변동 영역(회색 밴드): 허용 가능한 변동 밴드가 프리딕션을 둘러쌉니다. 가드레일이 있는 도로라고 생각해 보십시오 ― 가드레일 안에 머무는 것이 정상입니다.
• 공지 트리거: 실제 데이터가 변동 구간을 벗어나고 또한 지정된 기간 동안 그 상태를 유지할 때만 공지가 발생합니다.

뉴렐릭은 또한 이러한 예측을 자동으로 조정합니다:

• 데이터 일관성: 좁고 예측 가능한 범위에 머무는 메트릭은 더 좁은 대역을 갖습니다. 노이즈가 많거나 예측할 수 없는 메트릭은 오탐을 피하기 위해 더 넓은 대역을 갖습니다.
• 주기적 변동: 알고리즘은 반복되는 1주일 미만의 패턴(예: 수요일 오후 1시 배포 또는 야간 배치 작업)을 찾고 이에 맞게 예측을 조정합니다.
• 데이터 수명: 뉴렐릭은 데이터 가용성에 따라 1-4주의 기록을 사용하여 예측을 계산합니다(FACET 절을 사용하는 쿼리는 저장된 데이터에 대해 훈련되지 않으며 처음부터 학습을 시작합니다). 신호의 기록이 적을수록 기준이 더 많이 변동합니다. 데이터가 더 많이 축적될수록 정확도가 향상되며, 뉴렐릭은 최근 데이터에 더 많은 가중치를 둡니다.

임계값 설정

이상 징후 민감도 임계값은 알림이 얼마나 쉽게 트리거되는지 제어합니다. 민감도가 높으면 더 작은 변화를 포착하지만 더 많은 오탐을 생성할 수 있습니다. 민감도가 낮으면 더 큰 문제에 대해서만 알림을 보내지만 미묘한 문제를 놓칠 수 있습니다.

이상 징후 감지 차트 이해하기

차트 동작 설정:

• 집계 기간: 이를 늘리면 기준이 더 안정되고 신호 변동이 줄어듭니다. 이를 줄이면 신호가 더 뾰족해집니다.
• 창 기간: 기간이 길수록 더 부드러운 신호 선이 생성됩니다. 기간이 짧을수록 더 뾰족하고 반응성이 높은 신호가 생성됩니다.

민감도 제어: 더 좁은 밴드 대 더 넓은 밴드

이는 수신하는 알림의 수를 직접 제어합니다:

• 더 좁은 대역(더 작은 회색 영역): 기준에 더 가까움=더 많은 공지 이벤트, 데이터가 정상적으로 변동할 여유가 더 적기 때문입니다.
• 더 느슨한 대역(더 넓은 회색 영역): 기준에서 멀어짐=더 적은 공지 이벤트, 이는 알림을 트리거하기 전에 데이터가 더 많이 변동할 수 있기 때문입니다.

예: CPU가 정상적으로 50%로 실행되는 경우:

• 더 좁은 대역: CPU가 55%에 도달할 때 알림(더 민감함)
• 더 느슨한 대역: CPU가 70%에 도달하면 알림(덜 민감함)

공지 조건에서 이상 징후 민감도 임계값을 생성할 수 있습니다. 이상 징후 임계값 설정에 대한 몇 가지 팁:

• 알려진 계절성 패턴을 지정하려면 계절성 을 설정합니다.
• 이상 동작의 위 또는 아래에서 발생하는 모니터 공지 이벤트에 이상 작용 방향을 설정합니다.
• 슬라이더 막대를 사용하여 Critical 감도, 한계를 조정합니다. 이는 미리 보기 차트에서 신호 주변의 밝은 회색 영역으로 표시됩니다. 신호 주변의 밴드가 좁을수록 신호는 더 민감해지고 더 많은 공지 이벤트를 생성합니다.
• 선택적으로 Warning 임계값 (신호 주변의 더 어두운 회색 영역)을 추가하여 문제가 심각해지기 전에 조기 공지를 받을 수 있습니다. 이를 통해 기본 공지를 트리거하기 전에 문제를 조사할 시간을 확보할 수 있습니다.

이상적으로 감지 공지 조건을 만들려면 다음 단계를 따르세요.

1. one.newrelic.com > All capabilities > Alerts > Alert Conditions 으)로 이동합니다.

2. + New alert condition > Use guided mode (또는 고급 쿼리 모드)을 클릭합니다.

3. Set thresholds 에 도달할 때까지 안내 단계를 따르세요.

4. Anomaly 선택합니다.

   

5. Calculate seasonality 드롭다운 메뉴에서 데이터 패턴이 반복되는 빈도를 선택하십시오. 자세한 내용은 계절성을 참조하십시오.

6. Threshold direction 드롭다운 메뉴에서 알림을 트리거할 시점을 선택하십시오. 자세한 내용은 이상 징후 방향을 참조하십시오.

7. severity level(으)로 공지 이벤트를 엽니다. 드롭다운 메뉴에서 선택하십시오:

   • Critical: 즉각적인 주의가 필요한 긴급한 문제의 경우(진한 회색 대역)
   • Warning: 모니터링이 필요하고 덜 긴급한 문제의 경우(연한 회색 대역, 선택 사항)

   지정된 표준 편차 수만큼 신호(녹색 선)가 기준(검은색 점선)에서 벗어나면 이상 징후 공지가 트리거됩니다. 회색 밴드 영역은 임계값 범위를 나타냅니다.

   중요

   중요 개념: 공지 이벤트를 생성하기 전에 신호가 지정된 기간 동안 위반 상태를 유지해야 합니다 ― 자체 수정되는 짧은 급증은 이벤트를 트리거하지 않습니다. 공지가 열리고 닫히는 방법에 대한 전체 타임라인은 알림 발생 시기 이해하기 를 참조하십시오.

   임계값 설정을 구성하십시오:

   • 타이밍 규칙을 선택하십시오:

     • For at least - 공지하기 전에 신호가 전체 기간 동안 대역을 벗어나 있어야 합니다. 잘못된 경보를 줄입니다.
     • At least once in - 시간대 내에 신호가 대역을 벗어날 때 공지합니다. 더 빠른 감지.

   • 위반 기간 설정: 신호가 임계값을 벗어난 상태로 유지되어야 하는 시간(분)을 드롭다운 메뉴에서 선택하십시오:

     • 더 짧은 기간 =더 많은 공지 이벤트(짧은 위반도 알림을 유발합니다)
     • 더 긴 기간 =더 적은 공지 이벤트(지속적인 위반만 알림을 트리거합니다)

   • 민감도 수준 설정(표준 편차): 슬라이더를 사용하여 대역의 조밀도를 제어하십시오:

     • 더 좁은 대역 ("더 많은 공지 이벤트" 방향)=신호의 편차 여유가 적어짐, 더 많은 알림
     • 더 넓은 대역 ("더 적은 공지 이벤트" 방향)=신호가 편차를 보일 여유가 더 많음, 더 적은 알림

   + Add threshold 을(를) 클릭하여 임계값을 하나 더 추가하면 민감도 설정이 다른 경고 및 위험 수준을 모두 생성할 수 있습니다.

8. 공지조건의 세부정보를 추가하고 Save condition 클릭합니다.

계절성 설정

계절성은 이상 징후 감지가 예상되는 변화(영업시간 동안의 높은 트래픽이나 주말의 둔화 등)와 실제 문제(시스템 중단 등)를 구별하는 데 도움이 됩니다.

이상 징후 방향

조건이 예측값보다 높은 동작("상한"), 예측값보다 낮은 동작("하한") 또는 둘 다를 찾도록 할지 선택할 수 있습니다. 예측 방향 선택기를 사용하여 모든 조건 ― 단일 신호 또는 다중 신호 ― 에 대해 이를 선택합니다.

이에 대한 사용 사례의 예:

• 오류 비율과 같은 데이터 원본에 대해 상한 설정을 사용할 수 있습니다. 일반적으로 오류율이 올라가는 경우에만 관심이 있고 낮아지는 경우에는 관심이 없기 때문입니다.
• 처리량과 같은 데이터 원본에 대해 더 낮은 설정을 사용할 수 있습니다. 갑작스러운 상승 변동은 매우 일반적이지만 갑작스러운 큰 폭의 하락은 문제를 나타낼 수 있기 때문입니다.

다음은 이상 변동 방향 설정에 따라 데이터의 큰 변동이 어떻게 처리되는지 보여주는 예입니다. 빨간색 부분은 공지사항을 나타냅니다.

알림이 발생하는 시점 이해

데이터가 회색 임계값 대역에 닿는 순간 이상 징후 탐지 알림이 바로 발생하지는 않습니다. 타이밍은 기간 설정과 위반이 지속되는 시간에 따라 달라집니다.

많은 고객이 경험하는 것은 다음과 같습니다:

고객 기대치: "내 CPU가 90%로 급증하고 회색 영역을 벗어났는데, 왜 공지를 받지 못했습니까?"

현실: 스파이크가 2분 동안만 지속되지만 기간이 5분으로 설정된 경우 공지가 생성되지 않습니다 ― 데이터가 회색 밴드를 명확히 벗어났음에도 불구하고.

다중 신호 조건

공지 조건을 생성할 때 NRQL 쿼리를 어떻게 정의했는지에 따라, 단일 신호가 아닌 여러 신호를 모니터링할 수 있습니다. NRQL을 사용할 때, 이러한 쿼리는 FACET 절을 사용합니다. 다음 사항에 유의하십시오:

• 신호 제한: 단일 이상 징후 공지 조건은 최대 20,000개의 개별 신호를 모니터할 수 있습니다.
• 독립적인 평가: 각 신호는 자체 과거 기준에 따라 추적되고 평가됩니다. 한 신호의 이상 징후는 다른 신호의 정상적인 동작이 이를 왜곡하거나 가리지 않고 인시던트를 트리거합니다.
• 균일한 설정: 기준이 신호별로 계산되더라도 지정한 임계값 설정은 이 조건에 의해 모니터되는 모든 신호에 동일하게 적용됩니다.
• 차트 미리 보기: 미리 보기 차트에는 최대 500개의 신호를 표시합니다. 차트에 신호가 두 개 이상 있는 경우 예측 신호와 임계값 대역을 표시하지 않습니다. ― 기준 및 임계값 경계를 분리하려면 범례에서 단일 시계열을 선택하십시오.

신호 데이터를 사용하여 임계값을 조정하십시오.

조건이 며칠 이상 데이터를 평가한 후에는 임계값을 추측하지 마십시오. 모든 이상 징후 조건 평가는 실제 값, 예측 값 및 예측 오류의 표준 편차(numberOfDeviations)를 포함하는 NrAiSignal 이벤트를 게시합니다. 이러한 이벤트를 쿼리하여 임계값이 정확히 어떻게 작동하는지 확인하고, 조건 편집기의 미리 보기 차트에서 허용하는 것보다 더 긴 시간 창에 걸쳐 신호 및 예측을 차트로 작성하십시오.

일반적인 편차 범위를 찾으십시오.

일주일 이상에 걸친 numberOfDeviations 의 히스토그램은 신호의 일반적인 편차 범위를 보여주며, 시작 임계값을 선택하는 데 도움이 됩니다:

FROM NrAiSignal SELECT histogram(numberOfDeviations, start: -10, width: 20, buckets: 40) WHERE conditionId = YOUR_CONDITION_ID SINCE 1 week ago

시간이 지남에 따라 편차를 후보 임계값과 비교합니다.

동일한 편차를 후보 임계값 선 옆에 시계열로 표시하여 신호가 얼마나 자주, 얼마나 많이 이를 위반했는지 확인하십시오:

FROM NrAiSignal SELECT max(abs(numberOfDeviations)), 5 AS criticalValue WHERE conditionId = YOUR_CONDITION_ID SINCE 1 week ago TIMESERIES 28 minutes

5 을(를) 후보 임계값으로 교체하십시오. TIMESERIES 창을 조건의 집계 창의 배수로 설정하고, 이 비교를 위해 TIMESERIES MAX 을(를) 피하십시오.

평균 및 백분위수 편차 계산

보다 전체적인 보기를 보려면 더 긴 기간 동안 평균 및 백분위수 표준 편차를 계산하십시오. 예를 들어, 이 지연시간 신호는 약 120ms로 급증합니다:

같은 시점에 표준 편차는 약 30.43입니다:

이 쿼리를 실행하여 평균 및 백분위수 표준 편차를 현재 임계값과 비교하십시오:

SELECT average(deviations) AS 'avg', percentile(deviations, 75) AS 'p75', percentile(deviations, 95) AS 'p95' FROM (FROM NrAiSignal SELECT max(abs(numberOfDeviations)) AS 'deviations' WHERE conditionId = YOUR_CONDITION_ID TIMESERIES 1 hour LIMIT MAX) SINCE 1 week ago COMPARE WITH 2 weeks ago FACET string(7) AS 'Current Threshold'

이 예에서는 10에서 17 사이의 임계값이 현재 임계값인 7보다 더 적합합니다.

모델 동작을 확인하십시오.

실제 신호, 예측값 및 계산된 임계값을 함께 플로팅하여 모델이 잘 훈련되었고 임계값이 잘 보정되었는지 확인하십시오:

FROM NrAiSignal SELECT latest(signalValue), latest(predictedValue), latest(predictedValue + (standardDeviation * {condition_threshold})) AS 'Upper Threshold' WHERE conditionId = {condition_id} SINCE 1 week ago TIMESERIES 30 minutes

• signalValue: 조건의 신호에서 가져온 실제 값입니다.
• predictedValue: 모델의 계산된 기준이며, 주간 및 과거 추세를 학습함에 따라 시간이 지남에 따라 변경됩니다.
• 상한/하한 임계값: 조건의 표준 편차 임계값에서 계산된 상한 또는 하한 경계입니다.

이 추세는 잘 조정된 조건을 보여줍니다:

• 신호가 지속적으로 상한 임계값을 초과하지 않으므로, 표준 편차 임계값이 올바르게 설정되었을 가능성이 높습니다.
• 예측값이 실제 신호를 상당히 가깝게 추적하므로 모델이 잘 훈련되었습니다.

문제를 진단하려면 다음을 사용하십시오:

• 신호가 지속적으로 상한 임계값을 초과하거나 하한 임계값 미만인 경우, 표준 편차 임계값을 조정해야 합니다.
• 예측된 값 추세가 실제 신호와 많이 다를 경우 모델이 학습하는 데 더 많은 시간이 필요합니다. 추가로 조정하기 전에 더 많은 데이터를 제공하십시오.

일반적인 문제 해결