18.december2013 GregorDolinar Uporabnastatistika

(1)

Uporabna statistika

Gregor Dolinar

Fakulteta za elektrotehniko Univerza v Ljubljani

18. december 2013

(2)

Multipla regresija Naˇcrtovanje in analiza eksperimenta

smo naredili n>k opazovanj (zakaj mora biti n>k?). Podatke opazovanj oznaˇcimo

(x_i1,x_i2, . . . ,x_ik,y_i), i = 1,2, . . . ,n, n>k.

Iˇsˇcemo take koeficiente β₁, . . . , β_k, da podatki opazovanj najbolje ustrezajo modelu

yi =β₀+β₁x_i1+β₂x_i2+. . .+β_kx_ik +ǫi, i = 1,2, . . . ,n.

Gregor Dolinar Uporabna statistika

(3)

Zapiˇsemo funkcijo

L=

n

X

i=1

ǫ²_i =

n

X

i=1



y_i −β₀−

k

X

j=1

β_jx_ij





2

.

Iˇsˇcemo minimum funkcije glede na spremenljivke β₀, β₁, . . . , β_k. Funkcijo parcialno odvajamo po spremenljivkah β₀, β₁, . . . , β_k in dobljene funkcije izenaˇcimo z 0. Dobimo k+ 1 linearnih enaˇcb za k+ 1 neznank.

(4)

Matriˇcni zapis

y=Xβ+ǫ, kjer je





 y₁ y₂ ... y_n







=







1 x₁₁ x₁₂ . . . x_1k 1 x₂₁ x₂₂ . . . x_2k ... ... ... ... 1 x_n1 x_n2 . . . x_nk











 β₀ β1

... β_k





 +





 ǫ₀ ǫ1

... ǫ_n





 .

(5)

Naj bo ˆβ reˇsitev enaˇcb. Potem velja X^TXβˆ=X^Ty βˆ= (X^TX)⁻¹X^Ty Obrnljivost! Moore-Penroseov inverz.

(6)

Regresijski model se potem zapiˇse v obliki ˆ

y=Xβˆ Residuale oznaˇcimo

e=y−ˆy

(7)

Definicija

Kovarianˇcna matrika je matrika

cov ˆβ=σ²(X^TX)⁻¹

Po diagonali so variance βi, izven diagonale so kovariance

(8)

Ocena za varianco ǫv modelu multiple linearne regresije sp parametri je

ˆ σ² =

Pn i=1e_i² n−p .

(9)

Dobro naˇcrtovan poskus lahko:

◮ izboljˇsa kakovost

◮ zmanjˇsa variabilnost

◮ skrajˇsa ˇcas potreben za razvoj izdelka

◮ zmanjˇsa stroˇske Naˇcrtovanje poskusa:

◮ predpostavke (vpliv parametrov, ...)

◮ poskus (sluˇcajnost)

◮ analiza

◮ zakljuˇcek

(10)

Primer

Izboljˇsanje kakovosti papirnatih vreˇck. Preverjamo vpliv koncentracije trdega lesa v papirnati masi.

Analiziramo vpliv pri koncentracijah: 5 %, 10 %, 15 % in 20 %.

Grafiˇcna predstavitev (ˇskatlasti diagram) Statistiˇcna analiza?

(11)

Zanima nas, kako razliˇcne vrednosti parametra vplivajo na rezultat poskusa.

Zanima nas, kako razliˇcne vrednosti neke neodvisne spremenljivke vplivajo na vrednost sluˇcajne spremenljivke.

(12)

Statistiˇcni model:

Y_ij =µ+τi +ǫij, razredi i = 1,2, . . . ,a,

ˇstevilo meritev v vsakem razreduj = 1,2, . . . ,n, µ priˇcakovana vrednost,

τi vpliv posameznih razredov (privzamemo

a

X

i=1

τi = 0),

ǫij odstopanja ij-tega poskusa od i-tega razreda.

(13)

Oziroma

Yij =µi +ǫij,

µi =µ+τi,i = 1,2, . . . ,a, j = 1,2, . . . ,n, kjer je µi povpreˇcje posameznega razreda.

Privzamemo ǫij normalno porazdeljene sluˇcajne spremenljivke, matematiˇcno upanje 0, variancaσ².

(14)

Pozor!

◮ Doloˇceni razredi - nakljuˇcno izbrani razredi.

◮ Popolnoma sluˇcajen poskus.

Ker so τi definirani kot odstopanja odµ, je

a

X

i=1

τi = 0.

(15)

razred vsota povpreˇcje

1 y₁₁ y₁₂ . . . y_1n y_1. y_1.

2 y₂₁ y₂₂ . . . y_2n y_2. y_2.

... ... ... ... ... ... ...

a y_a1 y_a2 . . . y_an y_a. y_a.

y_.. y_..

(16)

Najprej preverimo, ali sprememba vrednosti neodvisne

spremenljivke vpliva na rezultat. ˇCe ne vpliva, so vse vrednostiτi

enake.

Postavimo domnevo.

H₀ :τ₁=τ₂ =. . .=τ_a= 0 H₁ :τ_i 6= 0 za vsaj eno vrednost i

(17)

SS_T =

a

X

i=1 n

X

j=1

(yij −y_..)² celotna vsota kvadratov odstopanj

SSA=n

a

X

i=1

(y_i.−y_..)² vsota kvadratov med razredi

SS_E =

a

X

i=1 n

X

j=1

(y_ij −y_i.)²

(18)

SS_T =SS_A+SS_E

E(SS_A) = (a−1)σ²+n

a

X

i=1

τ_i²

E(SS_E) =a(n−1)σ²

(19)

F₀ = SS_A/(a−1)

SS_E/(a(n−1)) = MS_A MS_E

F porazdelitev z a−1 in a(n−1) prostostnimi stopnjami.

Hipotezo H₀ zavrnemo, ˇce jef₀ >fα,a−1,a(n−1)

(20)

Fisherjev test LSD (least significant difference)

Vemo, da eden izmed faktorjev vpliva. Kateri?

Za vsak par preverimo hipotezo

H₀:µi =µj

s pomoˇcjo t-testa

t₀= y_i.−y_j_. q2MSE

n

.

(21)

Par bomo definirali kot bistveno razliˇcen, ˇce je

|y_i_.−y_j_.|>LSD, kjer je

LSD =t_{α/2,a(n−1)}

r2MS_E n . Preverjanje modela (normalnost ǫij)

(22)

Bloˇcna ANOVA

Statistiˇcni model:

Y_ij =µ+τi+βj +ǫij, razredi i = 1,2, . . . ,a,

bloki j = 1,2, . . . ,b,

(23)

razred vsota povpreˇcje

1 y₁₁ y₁₂ . . . y_1b y_1. y_1.

2 y₂₁ y₂₂ . . . y_2b y_2. y_2.

... ... ... ... ... ... ...

a y_a1 y_a2 . . . y_ab y_a. y_a.

y_.. y_..

Imamob blokov.

(24)

SS_T =

a

X

i=1 b

X

j=1

(y_ij −y_..)²

SS_A=b

a

X

i=1

(y_i.−y_..)²

SSB =a

b

X

j=1

(y_.j −y_..)²

SS_E =

a

X

i=1 b

X

j=1

(yij−y_.j −y_i_.+y_..)² SS_T =SS_A+SS_B +SS_E