이상탐지

이상 탐지 기법과 논문, 실전 적용.

이상 탐지 기법과 논문, 실전 적용.

상위 개념: 머신러닝

10 posts · 아카이브에서 필터로 보기

[Paper Review] CAST: Context- and Anomaly Structure-Conditioned Time Series Anomaly Generation

논문 개요와 전체 구조 시계열 이상탐지에서는 정상 데이터보다 이상 데이터의 확보가 어렵습니다. 발전량이나 교통량을 오래 관측해도 장애·급격한 변화 사례는 적을 수 있고, 심전도처럼 이상 형태가 다양한 데이터에서는 몇 개의 사례만으로 전체 분포를 배우기 어렵습니다. CAST는 주변의 정상 문맥과 생성하려는 이상 형태를 서로 다른 조건으로 제공해, 이상...

[이탐] 통계 기반 이상탐지 알고리즘

통계 기반 이상탐지 통계적 접근 방식을 사용하여 모델이 데이터의 ‘정상적인’ 행동을 학습하고 통계적으로 이례적인 행동을 보이는 데이터 포인트를 이상치로 식별합니다. GMM (Gaussian Mixture Models) 링크: https://scikit-learn.org/stable/modules/generated/sklearn.mixture...

[이탐] 앙상블 기반 이상탐지 알고리즘

앙상블 기반 이상탐지 앙상블 기반 알고리즘은 여러 개의 의사결정 기반 모델을 조합하여 이상치를 탐지합니다. 이 방법은 일반적으로 높은 정확도를 제공합니다. Isolation Forest 링크: https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest....

[이탐] 밀도 기반 이상탐지 알고리즘

밀도 기반 이상탐지 밀도 기반 알고리즘은 데이터 포인트 간의 지역적 밀도를 기반으로 이상치를 탐지합니다. 이러한 알고리즘은 데이터 분포가 불균일한 경우에도 잘 작동할 수 있습니다. DBSCAN 링크: https://scikit-learn.org/stable/modules/generated/sklearn.cluster.DBSCAN.html ...

[이탐] 내가 보려고 정리한 ML 이상탐지

이상탐지 이상탐지는 데이터셋에서 정상적인 패턴에서 벗어난 데이터 포인트를 식별하는 과정입니다. 이러한 이상치는 데이터의 분포나 특성에서 눈에 띄게 다른 점들을 나타내며, 종종 오류, 사기, 결함 등의 문제를 나타낼 수 있습니다. 따라서 이상탐지는 데이터 분석, 품질 관리, 보안 등 다양한 분야에서 중요한 역할을 합니다. 이상탐지 방법론에 따른 ...

[이탐] 결정 경계 기반 이상탐지 알고리즘

결정 경계 기반 이상탐지 결정 경계 기반 알고리즘은 데이터의 분포를 학습하여 명확한 경계를 형성하고, 이 경계를 벗어나는 점들을 이상치로 간주합니다. OCSVM (One-Class SVM) 링크: https://scikit-learn.org/stable/modules/generated/sklearn.svm.OneClassSVM.html ...

[이탐] 거리 기반 이상탐지 알고리즘

거리 기반 알고리즘 거리 기반 알고리즘은 데이터 포인트 간의 거리를 기반으로 이상치를 탐지합니다. 데이터 포인트가 다른 포인트와의 거리가 멀다면 이상치로 간주됩니다. K-Means Clustering 기반 이상탐지 링크: https://scikit-learn.org/stable/modules/generated/sklearn.cluster.K...

[TS] 시계열 이상탐지 시각화

오늘의 코드 시계열 전문가로서, 시계열 데이터분석가로서 다변량 시계열 데이터를 시각화하고 이를 살펴보는 작업은 매우 중요합니다. 이에 오늘은 제가 주로 연구/업무에 사용하는 이상탐지 시각화 코드를 정리하고자 합니다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28...

[머신러닝] 이상 탐지 개요 및 밀도 기반 이상치탐지

본 포스트는 고려대학교 강필성 교수님의 강의를 수강 후 정리를 한 것입니다. 작성 및 설명의 편의를 위해 아래 포스트는 반말로 작성한 점 양해부탁드립니다. Abnormal Data란 Anomaly Data는 다음과 같이 Hawkins와 Harmeling에 의해 정의된다. Observations that deviate so much f...

[머신러닝] 거리•군집•서포트벡터 기반 이상탐지 기법

본 포스트는 고려대학교 강필성 교수님의 강의를 수강 후 정리를 한 것입니다. 작성 및 설명의 편의를 위해 아래 포스트는 반말로 작성한 점 양해부탁드립니다. 거리 기반 이상치탐지 K-Nearest Neighbor-based Anomaly Detection 각 데이터에 대한 Anomaly Score를 K개의 근접 이웃까지의 거리를 이용하여 계산...