Dichte einer zweidimensionalen (bivariaten) Normalverteilung im dreidimensionalen Raum
Die mehrdimensionale oder multivariate Normalverteilung ist eine multivariate Verteilung in der multivariaten Statistik. Sie stellt eine Verallgemeinerung der (eindimensionalen) Normalverteilung auf mehrere Dimensionen dar.[1] Eine zweidimensionale Normalverteilung wird auch bivariate Normalverteilung genannt.
Bestimmt wird eine mehrdimensionale Normalverteilung durch zwei Verteilungsparameter – den Erwartungswertvektor und durch die Kovarianzmatrix , welche den Parametern (Erwartungswert) und (Varianz) der eindimensionalen Normalverteilungen entsprechen.
Mehrdimensional normalverteilte Zufallsvariablen treten als Grenzwerte bestimmter Summen unabhängiger mehrdimensionaler Zufallsvariablen auf. Dies ist die Verallgemeinerung des zentralen Grenzwertsatz zum mehrdimensionalen zentralen Grenzwertsatz.
Weil sie entsprechend dort auftreten, wo mehrdimensionale zufällige Größen als Überlagerung vieler voneinander unabhängiger Einzeleffekte angesehen werden können, haben sie für die Praxis eine große Bedeutung.
Aufgrund der sogenannten Reproduktivitätseigenschaft der mehrdimensionalen Normalverteilung lässt sich die Verteilung von Summen (und Linearkombinationen) mehrdimensional normalverteilter Zufallsvariablen konkret angeben.
Inhaltsverzeichnis
1Die mehrdimensionale Normalverteilung
1.1Allgemeiner Fall
1.2Regulärer Fall
1.3Singulärer Fall
2Eigenschaften
2.1Charakteristische Funktion
2.2Momenterzeugende Funktion
3Die Randverteilung der mehrdimensionalen Normalverteilung
4Die p-dimensionale Standardnormalverteilung
5Momente und Kumulanten
6Verallgemeinerungen
7Dichte der zweidimensionalen Normalverteilung
8Beispiel für eine mehrdimensionale Normalverteilung
9Schätzung der Parameter der mehrdimensionalen Normalverteilung
12Streuregionen der mehrdimensionalen Normalverteilung
13Literatur
14Anmerkungen
Die mehrdimensionale Normalverteilung
Die mehrdimensionale Normalverteilung kann auf verschiedene Arten definiert werden. Zu unterscheiden sind die Fälle, wenn es sich bei der Kovarianz-Matrix um eine reguläre oder singuläre Matrix handelt.
Allgemeiner Fall
Ein -dimensionaler reeller Zufallsvektor folgt einer mehrdimensionalen Normalverteilung, geschrieben , wenn ein -dimensionaler standardnormalverteilter Zufallsvektor , ein -dimensionaler Vektor sowie eine -Matrix existiert, so dass
.
Dabei bezeichnet das Symbol die Gleichheit in Verteilung, d. h., dass die Zufallsvektoren auf der rechten und linken Seite des Symbols dieselbe Wahrscheinlichkeitsverteilung besitzen. Es gilt dann , wobei Index die Transponierung bezeichnet.
Oder in Formeln:
Regulärer Fall
10000 Stichproben einer zweidimensionalen Normalverteilung mit , und ρ = 0.7
Eine -dimensionale reelle Zufallsvariable ist mehrdimensional normalverteilt mit Erwartungswertvektor und symmetrischer, positiv definiter (also regulärer) Kovarianzmatrix , wenn sie eine Dichtefunktion der Form[2]
besitzt. Dabei bezeichnen die Determinante der Matrix , der Index die Transponierung und die Inverse der Matrix .
Man schreibt
.
Das Subskript ist die Dimension der -dimensionalen Normalverteilung und zeigt die Anzahl der Variablen an, d. h., ist , ist und ist .[3] Für die zugehörige Verteilungsfunktion gibt es keine geschlossene Form. Die entsprechenden Integrale müssen numerisch berechnet werden.
Der Wert im Exponentialteil der Dichtefunktion entspricht dem Mahalanobis-Abstand, welcher den Abstand vom Testpunkt zum Mittelwert darstellt. Im Vergleich mit der Dichtefunktion der eindimensionalen Normalverteilung spielt bei der mehrdimensionalen Normalverteilung die Kovarianzmatrix die Rolle der skalaren Varianz .
Singulärer Fall
Wenn die Kovarianzmatrix singulär ist, kann man nicht invertieren, dann gibt es keine Dichte in der oben angegebenen Form. Gleichwohl kann man auch dann die mehrdimensionale Normalverteilung definieren, jetzt allerdings über die charakteristische Funktion.
Eine -dimensionale reelle Zufallsvariable heißt normalverteilt mit Erwartungswertvektor und symmetrischer, positiv semidefiniter (also nicht notwendig regulärer) Kovarianzmatrix , wenn sie eine charakteristische Funktion der folgenden Form hat:
.
Wenn regulär ist, existiert eine Wahrscheinlichkeitsdichte in obiger Form, wenn singulär ist, dann existiert im -dimensionalen Raum keine Dichte bzgl. des Lebesgue-Maßes. Sei , dann gibt es allerdings eine -dimensionale Linearform , wobei eine -Matrix ist, die einer -dimensionalen Normalverteilung mit existierender Dichte im genügt.
Eigenschaften
Die mehrdimensionale Normalverteilung hat die folgenden Eigenschaften:
Die affine Transformation mit einer Matrix und ist -dimensional normalverteilt: . Für die Definition des regulären Falles muss aber zusätzlich und nichtsingulär sein.
Bedingte Verteilung bei partieller Kenntnis des Zufallsvektors: Bedingt man einen mehrdimensional normalverteilten Zufallsvektor auf einen Teilvektor, so ist das Ergebnis selbst wieder mehrdimensional normalverteilt, für
gilt
.
Insbesondere hängt der bedingte Erwartungswert linear vom Wert des Zufallsvektors ab, denn es gilt
.
und die bedingte Kovarianzmatrix ist unabhängig vom Wert von , denn es gilt
.
Charakteristische Funktion
Die charakteristische Funktion von ist gegeben durch
Die Randverteilung der mehrdimensionalen Normalverteilung
Bivariate Normalverteilung mit Randverteilungen
Sei mehrdimensional normalverteilt. Für eine beliebige Partition mit und , , gilt, dass die Randverteilungen und (mehrdimensionale) Normalverteilungen sind.
Die Umkehrung gilt allerdings nicht, wie folgendes Beispiel zeigt:
Sei und sei definiert durch
wobei . Dann ist ebenso und
.
Demnach ist die Kovarianz (und damit der Korrelationskoeffizient) von und gleich null genau dann, wenn . Aus der Unkorreliertheit zweier Zufallsvariablen und würde im mehrdimensional normalverteilten Fall sofort die Unabhängigkeit folgen (Besonderheit der mehrdimensionalen Normalverteilung), da aber und nach Definition nicht unabhängig sind ( immer gleich ), kann insbesondere nicht mehrdimensional normalverteilt sein.
Die p-dimensionale Standardnormalverteilung
Das Wahrscheinlichkeitsmaß auf , das durch die Dichtefunktion
definiert wird, heißt Standardnormalverteilung der Dimension . Die -dimensionale Standardnormalverteilung ist abgesehen von Translationen (d. h. Erwartungswert ) und uniformer Skalierung (d. h. Kovarianzmatrix ) die einzige mehrdimensionale Verteilung, deren Komponenten stochastisch unabhängig sind und deren Dichte zugleich rotationssymmetrisch ist.
Momente und Kumulanten
Wie im eindimensionalen Fall, sind alle Momente der mehrdimensionalen Normalverteilung durch die ersten beiden Momente definiert. Alle Kumulanten außer den ersten beiden sind null. Die ersten beiden Kumulanten sind dabei der Erwartungswertvektor und die Kovarianzmatrix . In Bezug auf das mehrdimensionale Momentenproblem hat die Normalverteilung die Eigenschaft, dass sie durch ihre Momente eindeutig definiert ist. Das heißt, wenn alle Momente einer mehrdimensionalen Wahrscheinlichkeitsverteilung existieren und den Momenten einer mehrdimensionalen Normalverteilung entsprechen, ist die Verteilung die eindeutige mehrdimensionale Normalverteilung mit diesen Momenten.[4]
Verallgemeinerungen
Es gibt unterschiedliche Wege die mehrdimensionale Normalverteilung zu verallgemeinern.
Eine Zufallsmatrix, deren Einträge der Normalverteilung folgen, folgt der matrixwertigen Normalverteilung.
Es existiert eine komplexe mehrdimansionale Normalverteilung.
Es existiert eine mehrdimensionale Verteilung der verallgemeinerten Normalverteilung.
Die multivariate Normalverteilung gehört zu den elliptischen Verteilung, welche eine Dichte der Form
besitzen.
Dichte der zweidimensionalen Normalverteilung
Die Dichtefunktion der zweidimensionalen oder bivariaten Normalverteilung mit Mittelwerten und und Korrelationskoeffizient ist
Jeweils 10.000 Stichproben zweidimensionaler Normalverteilungen mit ρ = −0.8, 0, 0.8 (alle Varianzen sind 1).
Im zweidimensionalen Fall mit Mittelwerten und beliebigen Varianzen ist die Dichtefunktion
Den allgemeinen Fall mit beliebigen Mittelwerten und Varianzen bekommt man durch Translation (ersetze durch und durch )
Beispiel für eine mehrdimensionale Normalverteilung
Betrachtet wird eine Apfelbaumplantage mit sehr vielen gleich alten, also vergleichbaren Apfelbäumen. Man interessiert sich für die Merkmale Größe der Apfelbäume, die Zahl der Blätter und die Erträge. Es werden also die Zufallsvariablen definiert:
: Höhe eines Baumes [m]; : Ertrag [100 kg]; : Zahl der Blätter [1000 Stück].
Die Variablen sind jeweils normalverteilt wie
.
Die meisten Bäume sind also um groß, sehr kleine oder sehr große Bäume sind eher selten. Bei einem großen Baum ist der Ertrag tendenziell größer als bei einem kleinen Baum, aber es gibt natürlich hin und wieder einen großen Baum mit wenig Ertrag. Ertrag und Größe sind korreliert, die Kovarianz beträgt und der Korrelationskoeffizient .
Ebenso ist mit dem Korrelationskoeffizienten , und mit dem Korrelationskoeffizienten .
Schätzung der Parameter der mehrdimensionalen Normalverteilung
Bei Anwedungen ist der Statistik sind in der Regel die Verteilungsparameter einer -dimensionalen Normalverteilung nicht bekannt sein. Diese Parameter müssen also geschätzt werden.
Man zieht eine Stichprobe vom Umfang . Jede Realisierung des Zufallsvektors könnte man als Punkt in einem -dimensionalen Hyperraum auffassen. Man erhält so die eine -Matrix (Versuchsplan- oder Datenmatrix):
Für die Schätzung der Kovarianzmatrix erweist sich die bezüglich der arithmetischen Mittelwerte zentrierte Datenmatrix als nützlich. Sie berechnet sich als
,
mit den Elementen , wobei den Einsvektor, einen Spaltenvektor der Länge mit lauter Einsen, darstellt. Es wird also bei allen Einträgen das arithmetische Mittel der zugehörigen Spalte subtrahiert.
Die geschätzte -Kovarianzmatrix ergibt sich als
mit den Komponenten
.
Die Korrelationsmatrix in der Grundgesamtheit wird geschätzt durch die paarweisen Korrelationskoeffizienten
Es wurden 10 Apfelbäume zufällig ausgewählt und jeweils 3 Eigenschaften gemessen: : Höhe eines Baumes [m]; : Ertrag [100 kg]; : Zahl der Blätter [1000 Stück]. Diese Beobachtungen werden in der Datenmatrix zusammengefasst:
.
Die Mittelwerte berechnen sich, wie beispielhaft an gezeigt, als
.
Sie ergeben den Mittelwertvektor
.
Für die zentrierte Datenmatrix erhält man die zentrierten Beobachtungen, indem von den Spalten der entsprechende Mittelwert abzogen wird:
Eine oft verwendete Methode zur Erzeugung eines Zufallsvektors einer -dimensionalen Normalverteilung mit gegebenem Erwartungswertvektor und gegebener (symmetrischer und positiv definiter) Kovarianzmatrix kann wie folgt angegeben werden:
Sei ein Vektor, dessen Komponenten stochastisch unabhängige, standardnormalverteilte Zufallsvariablen sind. Standardnormalverteilte Zufallszahlen können beispielsweise mit Hilfe der Box-Muller-Methode generiert werden.
Mit der affinen Transformation ergibt sich die gewünschte -dimensionale Normalverteilung.
Streuregionen der mehrdimensionalen Normalverteilung
Für eindimensionale normalverteilte Zufallsvariablen liegen ungefähr 68,27 % der Realisierungen im Intervall , für mehrdimensionale normalverteilte Zufallsvariablen sind die Regionen konstanter Wahrscheinlichkeit durch Ellipsen (die Standardabweichungsellipsen) gegeben, welche um den Mittelwert zentriert sind. Die Hauptachsen der Ellipse sind durch die Eigenvektoren der Kovarianzmatrix gegeben, die Länge der Halbachsen ist die Quadratwurzel des zur jeweiligen Hauptachse gehörenden Eigenwertes . Eine Realisierung der Zufallsvariablen in der Region anzutreffen, welche durch die (mehrdimensionale) Standardabweichungsellipse begrenzt wird, ist für eine mehrdimensional normalverteilte Zufallsvariable weniger wahrscheinlich.[5]
Darstellung der Standardabweichungsellipse einer zweidimensionalen Normalverteilung, sowie der beiden Marginalverteilungen.
Nach einer Hauptachsentransformation können die Achsen mit ihren jeweiligen normiert werden. Dann lässt sich die Wahrscheinlichkeit mit der ein Messwert innerhalb eines Radius liegt berechnen. Mit
ist der Anteil
der Messwerte höchstens im Abstand vom Mittelwert einer p-dimensionalen Normalverteilung. Dabei ist die regularisierte unvollständige Gammafunktion der oberen Grenze.
in %
[6]
68,27
95,45
99,73
39,35
86,47
98,89
19,87
73,85
97,07
Entsprechend kann mit der Umkehrfunktion der Streuradius r angegeben werden, in der ein vorgegebener Anteil an Messwerten liegt:
in
0,675
1,645
2,576
1,177
2,146
3,035
1,538
2,500
3,368
Literatur
K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis. New York 1979.
Ludwig Fahrmeir, Alfred Hamerle, Gerhard Tutz (Hrsg.): Multivariate statistische Verfahren. New York 1996.
Joachim Hartung, Bärbel Elpelt: Multivariate Statistik. München/ Wien 1999.
Bernhard Flury: A first course in multivariate statistics. New York 1997.
Anmerkungen
↑Mehrdimensionale und multivariate Normalverteilung werden in diesem Artikel synonym verwendet. Bei Hartung/Elpelt: Multivariate Statistik haben sie aber (in Kapitel 1, Abschnitt 5) unterschiedliche Bedeutungen: hier ist die multivariate Normalverteilung eine Matrix-Verteilung.
↑Alvin C. Rencher, G. Bruce Schaalje: Linear models in statistics. John Wiley & Sons, 2008, S. 89. (utstat.toronto.edu)
↑Alvin C. Rencher, G. Bruce Schaalje: Linear models in statistics. John Wiley & Sons, 2008, S. 90. (utstat.toronto.edu)
↑Christian Kleiber, Jordan Stoyanov: Multivariate distributions and the moment problem. In: Journal of Multivariate Analysis. Vol. 113, Januar 2013, S. 7–18, doi:10.1016/j.jmva.2011.06.001.
↑Bin Wang, Wenzhong Shi, Zelang Miao: Confidence Analysis of Standard Deviational Ellipse and Its Extension into Higher Dimensional Euclidean Space. In: PLOS ONE. Band10, Nr.3, 13. März 2015, ISSN1932-6203, S.11, doi:10.1371/journal.pone.0118537.