Wykrywanie anomalii to metoda statystyczna, której Analiza automatyczna używa do wykrywania anomalii w danych ciągów czasowych związanych z określonym rodzajem danych oraz anomalii występujących w tym samym momencie w obrębie segmentu.
Wykrywanie w danych anomalii pojawiających się z upływem czasu
Mechanizm analizy stosuje do danych historycznych model bayesowskich ciągów czasowych oparty na przestrzeni stanów, by przewidywać wartość ostatniego obserwowanego punktu danych w ciągach czasowych. Model tworzy prognozę i przedział wiarygodności, którego używamy do oceny obserwowanych danych.
Korzystając z danych historycznych, Analiza automatyczna przewiduje wartość danych w bieżącym okresie i oznacza punkt danych jako anomalię, jeśli rzeczywista wartość wykracza poza przedział wiarygodności. Wykrywanie anomalii godzinowych wymaga okresu szkolenia wynoszącego dwa tygodnie. Wykrywanie anomalii dziennych wymaga okresu szkolenia wynoszącego 90 dni. Wykrywanie anomalii tygodniowych wymaga okresu szkolenia wynoszącego 32 tygodnie.
Wykrywanie anomalii występujących w segmencie w tym samym czasie
Chociaż wykrywanie anomalii na podstawie ciągów czasowych wykorzystuje dane historyczne do wskazywania pojedynczych danych w ramach 1 wartości wymiaru, oferujemy też wykrywanie anomalii występujących w tym samym czasie w kilku rodzajach danych i wartościach wymiarów.
W ramach tej metody używamy analizy głównych składowych, by wskazywać anomalie z wykorzystaniem struktury korelacji danych i sprawdzianu krzyżowego.
Najpierw wyznaczamy zbiór wymiarów i danych, które zostaną objęte analizą głównych składowych. Na podstawie wszystkich możliwych wartości wymiarów tworzymy wiele segmentów, a potem normalizujemy poszczególne dane według liczby użytkowników w segmencie. Następnie przeprowadzamy analizę tych segmentów i znormalizowanych danych. Jeśli w którymś segmencie występują nietypowe wartości jakichś danych i obejmuje on co najmniej 0,05% użytkowników danej usługi, zaliczamy go do anomalii. Obecnie wykonujemy tę analizę co tydzień.