opgaver:Uge5

I denne uge skal I arbejde med lidt mere avanceret statisk, som en forsmag på hvad I kan lære i mere avancerede statistik-kurser, som f.eks. Anvendt Statistik, der afholdes i blok 1. I skal kun gå i gang med disse opgaver hvis I faktisk er nået at blive færdige med de sidste ugers opgaver!

Som en forberedelse på at kunne lave disse opgaver, skal I læse et lille dokument skrevet af Morten Dam Jørgensen, der desuden også lavede nedenstående opgaver.


 * Dokument om multivariat statistik: [[Media:multivariatstatistik.pdf|multivariatstatistik.pdf]]

Det kan også hjælpe at læse nogle Wikipedia-sider om emnerne, som f.eks.


 * Multivariate analysis
 * Covariance Matrix
 * Correlations
 * Autocorrelations (valgfri)
 * Principal Component Analysis
 * Linear models
 * Non-linear models (kernel methods)


 * Fast fourier transforms - cool blog om FFT (valgfri)

Opgave 1 - Lineær korrelation
Disse øvelser viser hvordan lineære korrelationer kan beregnes og visualiseres, metoder som er anvendelige på det meste data med flere parametre.


 * Du skal starte med at hente datasættet [[Media:lande.txt|lande.txt]], der stammer fra.

Spørgsmål 1
Start med at indlæse datafilen, og plot så populationen i forhold til landenes størrelse.

Datafilen kan indlæses med koden



For nemmere at kunne arbejde med data sorteres de nu i rækkefølge efter landeareal, og population og areal skrives ind i hvert sit array:



Plottet laves med



Dette plot kan ses her til højre.

og kan man simpelthen manuelt indsætte i kovarians matricen,



Tilsvarende kan man manuelt finde den lineære korrelation med



Værdien af  er ca. 0.45, så de variable er korrelerede, men ikke super-godt.

Spørgsmål 3
Beregn kovariansmatricen og korrelationsmatricen med MATLAB's indbyggede funktioner, og sammenlign resultatet med dine egne beregninger.

Læs om funktionerne  og   i MATLAB hjælpen.

Man bruger simpelthen de to funktioner  og   på   og   vektorerne,



Spørgsmål 4
Tag logaritmen af begge værdier, og plot resultatet igen. Diskutér forskellen - er korrelationen tydeligere nu? Beregn korrelationen for de logaritmiske værdier. Hvorfor er korrelationen anderledes end i spørgsmål 2?

Man plotter simpelthen



Nu er det meget nemmere at se på data, da den tydeligvis er mere eksponentielt fordelt. Ud fra figuren forventer man også at korrelationen mellem de logaritmiske vektorer er mere lineær, da den faktisk ser lineær ud nu!



Det viser sig at  er omkring 0.86, hvilket præcis er som forventet - korrelationen er bedre for de logaritmiske.

Spørgsmål 5
Lav et lineært fit af resultatet i spørgsmål 4. Hvor godt er fittet? Beskriver en lineær relation forholdet?

Fittet laves bare med



og kan plottes oven i den forrige figur med



For at finde ud af hvor godt fittet er, kan man udregne $\chi^2$ for det. Man kan også bruge den $R^2$ værdi som  funktionen giver. Denne er givet i



Denne viser sig at være meget tæt på 1, hvilket fortæller at fittet er ret godt.

Altså er en lineær relation god til at beskrive forholdet mellem logaritmen af antallet af indbyggere i et lang og logaritmen af arealet af landet.

Opgave 2 - Flere korrelationer
Disse øvelser viser mere med korrelationer.


 * Du skal starte med at hente datasættet [[Media:opg2data.txt|opg2data.txt]].

Spørgsmål 1
Indlæs datasættet og beregn korrelationerne mellem de to variable. Er variablene korrelerede?

Først indlæses datasættet med



Korrelationerne mellem de to variable findes med de indbyggede MATLAB funktioner,



Det viser sig at der er cirka 1.1 % korrelation mellem variablene, og derfor er de slet ikke korrelerede!

Spørgsmål 2
Lav et scatter plot af de to variable. Ved visuel inspektion, forklar hvorfor der ikke var en korrelation mellem de to akser i beregningen.

Plottet laves simpelthen med koden



Dette plot er vist her til højre.

Det er tydeligt at se at der er en eller anden sammenhæng mellem de to akser, men den er absolut ikke lineær. Den lineære korrelation tager kun (logisk nok) linearitet med i beregningen, så alle højere ordens korrelationer bliver ikke fundet. For at kunne se højere ordens korrelationer skal man bruge mere avancerede statistiske værktøjer, som der bliver taget hul på i næste opgave.

Spørgsmål 3
Datasættet er genereret med følgende udtryk:



Der er tydeligvis en afhængighed mellem $x$- og $y$-aksen. I hvilke tilfælde vil en lineær korrelation være et acceptabelt mål for korrelationen mellem to værdier?

Lineær korrelation er et acceptabelt mål for korrelation i tilfælde hvor der er overordnet linearitet, uden symmetrier og højere-ordens effekter.

Opgave 3 - Principal component analysis
Disse øvelser handler om radial acceleration (med Principal Component Analysis - PCA).


 * Du skal starte med at hente datasættet [[Media:ipod_4.txt|ipod_4.txt]], der er et datasæt taget med app'en iSeismometer på en Ipod Touch som del af et eksperiment på kurset i 2011.

Spørgsmål 1
Indlæs datasættet. De fire variable er hhv. acceleration langs $x$-, $y$- og $z$-akserne samt tid i sekunder. Plot de tre accelerationskomponenter som funktion af tiden.

Data indlæses med



og man kan plotte de tre retnings-akser i samme figur med



Disse tre plots kan ses i figuren til højre.

Spørgsmål 2
I dette spørgsmål skal du finde de dominerende komponenter, ved at benytte PCA metoden beskrevet afsnit 2 i [[Media:multivariatstatistik.pdf|multivariatstatistik.pdf]] dokumentet. For at hjælpe dig lidt på vej er spørgsmålet delt op i mindre dele:

Del 1
Transponér input matricen sådan at den er $M \times N$, hvor $M$ svarer til antallet af parametre og $N$ antallet af målinger. Centrér derefter dataen ved først at beregne middelværdien for de fire parametre, og fratræk denne de enkelte komponenter.

For at centrere dataen kan det være praktisk at bruge en kode a la



Prøv at læse lidt om  i MATLAB hjælpen.

Transponeringen gøres med den simple  operator, og   kan bruges til at få   og  ,



Centreringen af dataen kan nu gøres som vist i hintet ovenfor, ved først at finde gennemsnittene i et nyt array,



og derefter bruge  til at lave et array der kan trækkes fra de oprindelige data (leg lidt med den, hvis du ikke forstår hvordan den virker).



Del 2
Beregn kovariansmatricen af den centrerede data, og beregn så egenværdierne og egenvektorerne af den, med den indbyggede funktion i MATLAB. Gem diagonalen af egenværdimatricen i en vektor ($M \times 1$).

Man kan finde egenværdier og egenvektorer for en matrice i MATLAB ved at bruge  funktionen. Man kan trække diagonalen af en matrice ud til en vektor med  funktionen.

Kovariansmatricen udregnes som sædvanligt, med



Egenværdierne og egenvektorerne for denne matrice findes ved hjælp af den indbyggede funktion i MATLAB, der giver



Her er  en matrice der indeholder egenvektorerne, mens   er en matrice der indeholder egenværdierne i diagonalen. Denne diagonal gemmes med



Del 3
Sorter egenværdierne efter faldende orden, og gem de indekser som sorteringsmetoden retunerer i en vektor.

Læs lidt om  funktionen i MATLAB hjælpen. Man kan få den til at spytte indekser ud ved hjælp kode på formen



Dette gøres simpelthen med koden



hvor  ikke skal bruges til noget videre.

Del 4
Sorter egenvektorerne og egenværdierne med indeks-vektoren.

Brug de indices som du gemte i del 3 til at bytte rundt på dine egenværdier og egenvektorer. Dette kan gøres med kode som



Egenvektorerne i den ønskede rækkefølge findes med



mens egenværdierne i samme rækkefølge findes med



Del 5
Projektér den oprindelige data langs den nye basis (egenvektor matricen).

For at projicere skal man bare gange egenvektor matricen (transponeret, for at dimensionerne passer) sammen med dataen, som



Spørgsmål 3
Plot hvert komponent af det transformerede datasæt som funktion af tiden. Ved at sammenligne værdierne fra egenvektorne med de fire plots, forklar hvad de enkelte komponenter beskriver.

Igen kan man plotte flere plots i samme figur ved at bruge.



For at kunne vurdere hvad de forskellige komponenter er, er det nødvendigt at se på egenvektorerne fundet med PCA metoden. I MATLAB findes det at



I første omgang kan man altså se at første komponent efter analysen næsten kun indeholder 4.-komponenten af dataen (tid), hvilket også giver fin mening med den monotont stigende kurve set i figuren. På samme måde kan man se at den fjerde komponent efter analysen næsten kun indeholder (den negative) 3.-komponent af dataen ($z$-accelerationen). Denne kurve ligner meget godt den støj der også blev set på den oprindelige $z$-acceleration komponent i dataen.

Derimod er anden og tredje komponenterne efter analysen givet som et miks imellem $x$- og $y$-accelerationerne fra den oprindelige data.

Spørgsmål 4
(Frivillig) Benyt MATLABs indbyggede PCA rutiner i stedet:



Spørgsmål 5
(Frivillig) PCA teknikken afhænger af lineære relationer mellem de forskellige variable. Der findes en anden metode til ikke-lineære data, der benytter det såkaldte "kernel-kneb". I zip-filen medfølger en funktion kaldet "kernelpca_tutorial.m", gentag spørgsmål 4 for resultatet fra funktionen.

Mere info: http://en.wikipedia.org/wiki/Kernel_principal_component_analysis

Samlede løsninger

 * Et samlet dokument med MATLAB kode til at løse alle opgaverne ovenfor kan hentes her: [[Media:opgaver_uge5_kovarians.m|opgaver_uge5_kovarians.m]]