opgaver:Uge5

I denne uge skal I arbejde med lidt mere avanceret statisk, som en forsmag på hvad I kan lære i mere avancerede statistik-kurser, som f.eks. Anvendt Statistik, der afholdes i blok 1.

Som en forberedelse på at kunne lave disse opgaver, skal I læse et lille dokument skrevet af Morten Dam Jørgensen, der desuden også lavede nedenstående opgaver.

• Dokument om multivariat statistik: multivariatstatistik.pdf

Det kan også hjælpe at læse nogle Wikipedia-sider om emnerne, som f.eks.

• Multivariate analysis
  • Covariance Matrix
  • Correlations
  • Autocorrelations (valgfri)
• Principal Component Analysis
  • Linear models
  • Non-linear models (kernel methods)
• Fast fourier transforms - cool blog om FFT (valgfri)

Opgave 1 - Lineær korrelation

Disse øvelser viser hvordan lineære korrelationer kan beregnes og visualiseres, metoder som er anvendelige på det meste data med flere parametre.

• Du skal starte med at hente datasættet lande.txt, der stammer fra [1].

Spørgsmål 1

Start med at indlæse datafilen, og plot så populationen i forhold til landenes størrelse.

Løsning 

Spørgsmål 2

Beregn den linære korrelation manuelt. Er de to variable korrelerede?

Hint 

Beregn først kovarians matricen (ligning 1 i multivariatstatistik.pdf dokumentet).

Løsning 

Spørgsmål 3

Beregn kovariansmatricen og korrelationsmatricen med MATLAB's indbyggede funktioner, og sammenlign resultatet med dine egne beregninger.

Hint 

Løsning 

Spørgsmål 4

Tag logaritmen af begge værdier, og plot resultatet igen. Diskutér forskellen - er korrelationen tydeligere nu? Beregn korrelationen for de logaritmiske værdier. Hvorfor er korrelationen anderledes end i spørgsmål 2?

Løsning 

Spørgsmål 5

Beregn korrelationen for de logaritmiske værdier. Hvorfor er korrelationen anderledes end i spørgsmål 2?

Løsning 

Spørgsmål 6

Lav et lineært fit af resultatet i spørgsmål 4. Hvad er $\chi^2$ for fittet? Beskriver en lineær relation forholdet?

Løsning 

Opgave 2 - Flere korrelationer

Disse øvelser viser mere med korrelationer.

• Du skal starte med at hente datasættet opg2data.txt.

Spørgsmål 1

Indlæs datasættet og beregn korrelationerne mellem de to variable. Er variablene korrelerede?

Løsning 

Spørgsmål 2

Lav et scatter plot af de to variable. Ved visuel inspektion, forklar hvorfor der ikke var en korrelation mellem de to akser i beregningen.

Løsning 

Spørgsmål 3

Datasættet er genereret med følgende udtryk:

n = 2000;

x = linspace(-1, 1, n);

y = - 5 * (x.^2 - 1/2).^2 + unifrnd(-1, 1, [1 n])/3;

Der er tydeligvis en afhængighed mellem $x$- og $y$-aksen. I hvilke tilfælde vil en lineær korrelation være et acceptabelt mål for korrelationen mellem to værdier?

Løsning 

Opgave 3 -

Disse øvelser handler om radial acceleration (med Principal Component Analysis).

• Du skal starte med at hente datasættet ipod_4.txt, der er et datasæt taget med app'en iSeismometer på en Ipod Touch som del af et eksperiment på kurset i 2011.

Spørgsmål 1

Indlæs datasættet. De fire variable er hhv. acceleration langs $x$-, $y$- og $z$-akserne samt tid i sekunder. Plot de tre accelerationskomponenter som funktion af tiden.

Løsning 

Spørgsmål 2

Find de dominerende komponenter, ved at benytte PCA metoden beskrevet afsnit 2 i multivariatstatistik.pdf dokumentet.

Transponér input matricen sådan at den er $M \times N$, hvor $M$ svarer til antallet af parametre og $N$ antallet af målinger. Centrér derefter dataen ved først at beregne middelværdien for de fire parametre, og fratræk denne de enkelte komponenter.

Hint 

data_center = data - repmat(middelværdierne, 1, antallet_af_målinger)

Løsning 

Beregn kovariansmatricen af den centrerede data, og beregn så egenværdierne og egenvektorerne af den, med den indbyggede funktion i MATLAB. Gem diagonalen af egenværdimatricen i en vektor ($M \times 1$).

Løsning 

Sorter egenværdierne efter faldende orden, og gem de indekser som sorteringsmetoden retunerer i en vektor.

Hint 

[smidvæk indices] = sort(egenværdier, 'descend')

Løsning 

Sorter egenvektorerne og egenværdierne med indeks-vektoren.

Hint 

egenvec = egenvec(:,indices); egenværdier = egenværdier(indices)

Løsning 

Projektér den oprindelige data langs den nye basis (egenvektor matricen).

Hint 

data_pca = egenvec' * data

Løsning 

Spørgsmål 3

Plot hvert komponent af det transformerede datasæt som funktion af tiden. Ved at sammenligne værdierne fra egenvektorne med de fire plots, forklar hvad de enkelte komponenter beskriver.

Løsning 

Spørgsmål 4

(Frivillig) Benyt MATLABs indbyggede PCA rutiner i stedet:

[C, latent, explained] = pcacov(cov(data'))

biplot(egenvec(:,1:2), 'scores', signals(1:2,:)', 'varlabels',datalabels)

Spørgsmål 5

(Frivillig) PCA teknikken afhænger af lineære relationer mellem de forskellige variable. Der findes en anden metode til ikke-lineære data, der benytter det såkaldte "kernel-kneb". I zip-filen medfølger en funktion kaldet "kernelpca_tutorial.m", gentag spørgsmål 4 for resultatet fra funktionen.

Mere info: http://en.wikipedia.org/wiki/Kernel_principal_component_analysis

Løsning