Databricks 통합은 Databricks Data Intelligence 플랫폼에서 텔레메트리를 수집하여 문제 해결, 해결 및 Databricks 워크로드 최적화에 사용되는 독립형 기능입니다.
통합은 다음 유형의 텔레메트리를 수집합니다.
- Spark 실행기 메모리 및 CPU 지표, Spark 작업 기간, Spark 단계 및 작업의 기간 및 I/O 지표, Spark RDD 메모리 및 디스크 지표와 같은 스파크 성능 지표
- Databricks Lakeflow 작업 실행 범위에는 작업 및 태스크 실행의 지속 시간, 시작 및 종료 시간, 종료 코드 및 유형과 같은 정보가 포함됩니다.
- Databricks Lakeflow Declarative Pipeline 업데이트 범위에는 업데이트 및 흐름에 대한 기간, 시작 및 종료 시간, 완료 상태 등이 포함됩니다.
- Databricks Lakeflow 선언적 Pipeline 이벤트 로그
- Databricks 쿼리 메트릭(실행 시간 및 쿼리 I/O 메트릭 포함).
- 드라이버 및 작업자 메모리, CPU 지표, 드라이버 및 실행기 로그와 같은 Databricks 클러스터 상태 지표 및 로그.
- Databricks 사용량 및 비용 데이터는 DBU 사용량과 예상 Databricks 비용을 보여주는 데 사용할 수 있습니다.
통합 설치
Databricks 통합은 Databricks 다목적, 작업 또는 파이프라인 클러스터 의 드라이버 노드에서 구현하거나 배포하기 위한 것입니다. 이러한 방식으로 통합을 구현하거나 배포하려면 Databricks 클러스터에 통합을 구현하거나 배포하는 단계를 따르세요.
Databricks 통합은 지원되는 호스트 환경에서 원격으로 구현, 배포할 수도 있습니다. 이러한 방식으로 통합을 구현, 배포하려면 원격으로 통합을 구현, 배포하는 단계를 따르세요.
설치를 확인하십시오
Databricks 통합이 몇 분 동안 실행되면 뉴렐릭의 쿼리 빌더를 사용하여 다음 쿼리를 실행하고 [YOUR_CLUSTER_NAME] 통합이 설치된 Databricks 클러스터의 이름 으로 바꿉니다(클러스터 이름에 ' 가 포함된 경우 \ 로 이스케이프해야 합니다).
SELECT uniqueCount(executorId) AS Executors FROM SparkExecutorSample WHERE databricksClusterName = '[YOUR_CLUSTER_NAME]'
쿼리 결과는 0보다 큰 숫자 여야 합니다.
예제 대시보드를 가져옵니다(선택 사항).
수집된 마더보드 사용을 시작하는 데 도움이 되도록 안내 설치 를 사용하여 사전 구축된 대시보드를 설치하세요.
또는 예제 대시 Dashboards가져오기 에 있는 지침에 따라 미리 빌드된 예제를 설치할 수도 있습니다.
더 알아보기
Databricks 통합에 대해 자세히 알아보려면 공식 뉴렐릭 Databricks 통합 서버를 방문하세요.