opgaver:Uge5

I denne uge skal I arbejde med lidt mere avanceret statisk, som en forsmag på hvad I kan lære i mere avancerede statistik-kurser, som f.eks. Anvendt Statistik, der afholdes i blok 1.

Som en forberedelse på at kunne lave disse opgaver, skal I læse et lille dokument skrevet af Morten Dam Jørgensen, der desuden også lavede nedenstående opgaver.

• Dokument om multivariat statistik: multivariatstatistik.pdf

Det kan også hjælpe at læse nogle Wikipedia-sider om emnerne, som f.eks.

• Multivariate analysis
  • Covariance Matrix
  • Correlations
  • Autocorrelations (valgfri)
• Principal Component Analysis
  • Linear models
  • Non-linear models (kernel methods)
• Fast fourier transforms - cool blog om FFT (valgfri)

Opgave 1 - Lineær korrelation

Disse øvelser viser hvordan lineære korrelationer kan beregnes og visualiseres, metoder som er anvendelige på det meste data med flere parametre.

• Du skal starte med at hente datasættet lande.txt, der stammer fra [1].

Spørgsmål 1

Start med at indlæse datafilen, og plot så populationen i forhold til landenes størrelse.

Løsning 

Antal indbyggere som en funktion af landeareal.

Datafilen kan indlæses med koden

lande = importdata('lande.txt',';');

For nemmere at kunne arbejde med data sorteres de nu i rækkefølge efter landeareal, og population og areal skrives ind i hvert sit array:

sorted = sortrows(lande.data,1);

A = sorted(:,1);

P = sorted(:,2);

Plottet laves med

figure

plot(A,P,'.')

xlabel('lands størrelse [miles^2]')

ylabel('antal indbyggere')

title('Lineær sammenhæng')

Dette plot kan ses her til højre.

Spørgsmål 2

Beregn den linære korrelation manuelt (altså uden at bruge de indbyggede MATLAB funktioner til at gøre det). Er de to variable korrelerede?

Hint 

Beregn først kovarians matricen (ligning 1 i multivariatstatistik.pdf dokumentet).

Løsning 

Covariansen mellem to vektorer er givet ved $\Sigma_{i,j} = \text{cov}(X_i,X_j) = E[(X_i-\mu_i)(X_j-\mu_j)]$, hvor $E[\cdot]$ er forventningsværdien - simpelthen gennemsnittet. Dermed kan man manuelt udregne covariansmatricen ved først at udregne

X1 = A - mean(A);

X2 = P - mean(P);

og kan man simpelthen manuelt indsætte i kovarians matricen,

C_man = [ mean( X1 .* X1 ) mean( X1 .* X2 ) ; ...

mean( X2 .* X1 ) mean( X2 .* X2 ) ];

Tilsvarende kan man manuelt finde den lineære korrelation med

r_man = mean( X1 .* X2 ) / ( std(A) * std(P) );

Værdien af r_man er ca. 0.45, så de variable er korrelerede, men ikke super-godt.

Spørgsmål 3

Beregn kovariansmatricen og korrelationsmatricen med MATLAB's indbyggede funktioner, og sammenlign resultatet med dine egne beregninger.

Hint 

Læs om funktionerne cov og corr i MATLAB hjælpen.

Løsning 

Man bruger simpelthen de to funktioner cov og corr på A og P vektorerne,

C_aut = cov(A,P);

r_aut = corr(A,P);

Spørgsmål 4

Tag logaritmen af begge værdier, og plot resultatet igen. Diskutér forskellen - er korrelationen tydeligere nu? Beregn korrelationen for de logaritmiske værdier. Hvorfor er korrelationen anderledes end i spørgsmål 2?

Løsning 

Antal indbyggere som en funktion af landeareal, logaritmisk.

Man plotter simpelthen

figure

plot(log(A),log(P),'.')

xlabel('log( lands størrelse [miles^2] )')

ylabel('log( antal indbyggere )')

title('Dobbeltlogaritmisk sammenhæng')

Nu er det meget nemmere at se på data, da den tydeligvis er mere eksponentielt fordelt. Ud fra figuren forventer man også at korrelationen mellem de logaritmiske vektorer er mere lineær, da den faktisk ser lineær ud nu!

C_log = cov(log(A),log(P));

r_log = corr(log(A),log(P));

Det viser sig at r_log er omkring 0.86, hvilket præcis er som forventet - korrelationen er bedre for de logaritmiske.

Spørgsmål 5

Lav et lineært fit af resultatet i spørgsmål 4. Hvor godt er fittet? Beskriver en lineær relation forholdet?

Løsning 

Antal indbyggere som en funktion af landeareal, logaritmisk, sammen med et lineært fit.

Fittet laves bare med

[cfun good] = fit(log(A),log(P),'poly1');

og kan plottes oven i den forrige figur med

hold on

plot(log(A),cfun(log(A)),'-g')

For at finde ud af hvor godt fittet er, kan man udregne $\chi^2$ for det. Man kan også bruge den $R^2$ værdi som fit funktionen giver. Denne er givet i

good.rsquare;

Denne viser sig at være meget tæt på 1, hvilket fortæller at fittet er ret godt.

Altså er en lineær relation god til at beskrive forholdet mellem logaritmen af antallet af indbyggere i et lang og logaritmen af arealet af landet.

Opgave 2 - Flere korrelationer

Disse øvelser viser mere med korrelationer.

• Du skal starte med at hente datasættet opg2data.txt.

Spørgsmål 1

Indlæs datasættet og beregn korrelationerne mellem de to variable. Er variablene korrelerede?

Løsning 

Først indlæses datasættet med

tal = importdata([datadir,'opg2data.txt'],',');

x = tal(:,1);

y = tal(:,2);

Korrelationerne mellem de to variable findes med de indbyggede MATLAB funktioner,

C = cov(x,y);

r = corr(x,y);

Det viser sig at der er cirka 1.1 % korrelation mellem variablene, og derfor er de slet ikke korrelerede!

Spørgsmål 2

Lav et scatter plot af de to variable. Ved visuel inspektion, forklar hvorfor der ikke var en korrelation mellem de to akser i beregningen.

Løsning 

Disse variable er ikke lineært korrelerede.

Plottet laves simpelthen med koden

figure

plot(x,y,'.')

xlabel('data fra første kolonne')

ylabel('data fra anden kolonne')

title('Scatter plot af data')

Dette plot er vist her til højre.

Det er tydeligt at se at der er en eller anden sammenhæng mellem de to akser, men den er absolut ikke lineær. Den lineære korrelation tager kun (logisk nok) linearitet med i beregningen, så alle højere ordens korrelationer bliver ikke fundet. For at kunne se højere ordens korrelationer skal man bruge mere avancerede statistiske værktøjer, som der bliver taget hul på i næste opgave.

Spørgsmål 3

Datasættet er genereret med følgende udtryk:

n = 2000;

x = linspace(-1, 1, n);

y = - 5 * (x.^2 - 1/2).^2 + unifrnd(-1, 1, [1 n])/3;

Der er tydeligvis en afhængighed mellem $x$- og $y$-aksen. I hvilke tilfælde vil en lineær korrelation være et acceptabelt mål for korrelationen mellem to værdier?

Løsning 

Lineær korrelation er et acceptabelt mål for korrelation i tilfælde hvor der er overordnet linearitet, uden symmetrier og højere-ordens effekter.

Opgave 3 -

Disse øvelser handler om radial acceleration (med Principal Component Analysis).

• Du skal starte med at hente datasættet ipod_4.txt, der er et datasæt taget med app'en iSeismometer på en Ipod Touch som del af et eksperiment på kurset i 2011.

Spørgsmål 1

Indlæs datasættet. De fire variable er hhv. acceleration langs $x$-, $y$- og $z$-akserne samt tid i sekunder. Plot de tre accelerationskomponenter som funktion af tiden.

Løsning 

Spørgsmål 2

I dette spørgsmål skal du finde de dominerende komponenter, ved at benytte PCA metoden beskrevet afsnit 2 i multivariatstatistik.pdf dokumentet. For at hjælpe dig lidt på vej er spørgsmålet delt op i mindre dele:

Del 1

Transponér input matricen sådan at den er $M \times N$, hvor $M$ svarer til antallet af parametre og $N$ antallet af målinger. Centrér derefter dataen ved først at beregne middelværdien for de fire parametre, og fratræk denne de enkelte komponenter.

Hint 

data_center = data - repmat(middelværdierne, 1, antallet_af_målinger)

Løsning 

Del 2

Beregn kovariansmatricen af den centrerede data, og beregn så egenværdierne og egenvektorerne af den, med den indbyggede funktion i MATLAB. Gem diagonalen af egenværdimatricen i en vektor ($M \times 1$).

Løsning 

Del 3

Sorter egenværdierne efter faldende orden, og gem de indekser som sorteringsmetoden retunerer i en vektor.

Hint 

[smidvæk indices] = sort(egenværdier, 'descend')

Løsning 

Del 4

Sorter egenvektorerne og egenværdierne med indeks-vektoren.

Hint 

egenvec = egenvec(:,indices); egenværdier = egenværdier(indices)

Løsning 

Del 5

Projektér den oprindelige data langs den nye basis (egenvektor matricen).

Hint 

data_pca = egenvec' * data

Løsning 

Spørgsmål 3

Plot hvert komponent af det transformerede datasæt som funktion af tiden. Ved at sammenligne værdierne fra egenvektorne med de fire plots, forklar hvad de enkelte komponenter beskriver.

Løsning 

Spørgsmål 4

(Frivillig) Benyt MATLABs indbyggede PCA rutiner i stedet:

[C, latent, explained] = pcacov(cov(data'))

biplot(egenvec(:,1:2), 'scores', signals(1:2,:)', 'varlabels',datalabels)

Løsning 

Spørgsmål 5

(Frivillig) PCA teknikken afhænger af lineære relationer mellem de forskellige variable. Der findes en anden metode til ikke-lineære data, der benytter det såkaldte "kernel-kneb". I zip-filen medfølger en funktion kaldet "kernelpca_tutorial.m", gentag spørgsmål 4 for resultatet fra funktionen.

Mere info: http://en.wikipedia.org/wiki/Kernel_principal_component_analysis

Løsning 

Samlede løsninger

• Et samlet dokument med MATLAB kode til at løse alle opgaverne ovenfor kan hentes her: opgaver_uge5_kovarians.m