Statistik matematika yang akan diuraikan pada ba-gian ini meliputi distribusi respon dan berbagai penaksir, yaitu :
- distribusi variabel respon
- distribusi penaksir koefisien regresi (b0)
dan (b1)
- distribusi penaksir respon,
kemudian dilanjutkan dengan selang kepercayaan dan pengujian hipotesis.
Review Teorema
Suatu teorema menyatakan bahwa fungsi linier variabel random berdistribusi normal, juga ber-distribusi normal.
1. Distribusi Variabel Respon
Pada regresi linier sederhana berlaku persamaan :
Yi = b0 + b1 Xi + ei …..……. (1)
dengan asumsi ei ~ N(0,s2). Ini berarti E(ei ) = 0, dan var(ei ) = s2. Persamaan (1) di atas menggam-barkan Yi merupakan fungsi linier ei , karena b0 dan
b1 , masing-masing adalah parameter, dan Xi varia-bel fixed. Jadi hanya terdapat satu variabel random yang jelas spesifikasinya, yaitu ei . Dengan demikian distribusi Yi mengikuti distribusi ei , yaitu normal.
Adapun parameternya, yaitu mean dan variansi da-pat diturunkan sebagai berikut :
Mean (Yi ) = E(Yi ) = E(b0 + b1 Xi + ei )
= E(b0 ) + E(b1 Xi) + E(ei )
= b0 + b1 Xi + 0 = b0 + b1 Xi
var(Yi ) = var(b0 + b1 Xi + ei )
= var(b0)+ var(b1 Xi) + var(ei )
= 0 + 0 + var(ei ) = s2
Dapat dituliskan : Yi ~ N(b0 + b1 Xi , s2)
2. Distribusi b0 dan b1
Dengan menggunakan metode kuadrat terkecil atau least square telah didapatkan penaksir b0 , dinotasi-kan b0 dan penaksir b1 , dinotasikan b1 , sebagai berikut :
b0 = 
Akan dilakukan penurunan distribusi b1 lebih dulu untuk mempermudah. Rumus b1 dijabarkan agar muncul kejelasan variabel random yang membentuk b1. Pada rumus b1 tersebut tampak bahwa penyebut hanya memuat variabel X, jadi penyebut fixed. Ada-pun pembilang mengandung variabel random Y.
Selanjutnya pembilang dijabarkan sebagai berikut :
Tampak bahwa pembilang merupakan fungsi linier Y1 , Y2 , . . . Yn , sehingga b1 mengikuti distribusi Yi yaitu normal, dengan penurunan parameter sebagai berikut :
Mean b1 = E(b1)
= 
= E 
= E 
Seperti yang telah diuraikan pada materi terdahulu, yaitu Least Square atau Kuadrat Terkecil didapat-kan var(b1) dinyatakan dengan pers berikut :
var(b1) = 
Dapat disimpulkan bahwa :
b1 ~ 
Selanjutnya rumus b0 dijabarkan agar muncul keje-lasan variabel random yang membentuk b0 .
b0 = 
= 
Persamaan di atas menunjukkan bahwa b0 meru-pakan fungsi linier Yi , i = 1, 2, … , n ; disamping itu juga merupakan fungsi linier b1 . Karena kedua variabel random tersebut berdistribusi normal, maka b1 mengikuti distribusi normal pula, dengan pena-laran mean (b0) dan var(b0) sebagai berikut :
Mean(b0) = E(b0) = E
= E()
) = E
= 
= 
= 
Dengan demikian didapatkan :
b0 ~ N 
Dengan didapatkannya E(b0) = b0 dan E(b1) = b1 maka terbukti bahwa b0 dan b1 merupakan penaksir tak bias bagi b0 dan b1.
3. Distribusi 
Perhitungan nilai penaksir respon ke i dilakukan dengan menggunakan penaksir model regresi yang terbentuk, yaitu : 
Bila ditentukan satu prediktor yang digunakan untuk melakukan eksperimen, misal X0 , akan didapatkan penaksir respon, , sebagai berikut :
Bila ditentukan satu prediktor yang digunakan untuk melakukan eksperimen, misal X0 , akan didapatkan penaksir respon, , sebagai berikut :
Penaksir respon tersebut, , jelas merupakan fung-si linier b0 dan b1. Karena b0 dan b1 berdistribusi normal, maka juga berdistribusi normal. Mean dan variansi masing-masing akan diturunkan se-bagai berikut :
, jelas merupakan fung-si linier b0 dan b1. Karena b0 dan b1 berdistribusi normal, maka juga berdistribusi normal. Mean dan variansi masing-masing akan diturunkan se-bagai berikut :Mean() = 
) = 
Telah diuraikan pada materi Least Square atau Ku-adrat Terkecil , variansi sebagai berikut :
sebagai berikut :var() = 
.
) = .Jadi,
~ N 
Selang Kepercayaan
Distribusi berbagai penaksir akan digunakan untuk mendapatkan taksiran selang berbagai parameter, a-tau lazim disebut Selang Kepercayaan.
1. Selang Kepercayaan 100(1-a)% Untuk b0
Selang kepercayaan parameter b0 ini diturunkan berdasarkan distribusi penaksirnya, yaitu b0 .
Penurunan diawali dari distribusi b0 , berikut :
b0 ~ N 
maka :
atau Z, dan 
, atau 
dengan simpangan baku b0 = 
; selanjutnya simpangan baku b0 disingkat sb b0.
; selanjutnya simpangan baku b0 disingkat sb b0.Batas bawah dan batas atas selang kepercayaan didapat dengan cara menghitung solusi pertidaksamaan
.Solusi pertama :  | Solusi kedua :  | Interseksi solusi pertama dengan solusi kedua : b0 ¾¾¾¾¾·¾¾¾¾¾¾¾¾¾¾·¾¾¾¾¾       |
Apabila s2 tidak diketahui, maka digunakan penaksirnya, yaitu :
,nilai 2 menyatakan terdapat dua parameter, yaitu b0 dan b1. Selanjutnya, distribusi Z berubah menjadi distribusi Student t, akibatnya 
dan simpangan baku berubah menjadi penaksir simpangan baku; sehingga selang kepercayaan menjadi :
dan simpangan baku berubah menjadi penaksir simpangan baku; sehingga selang kepercayaan menjadi :
2. Selang Kepercayaan 100(1-a)% Untuk b1
Dengan penalaran seperti pada selang kepercayaan 100(1-a)% untuk b0 , didapatkan selang kepercayaan 100(1-a)% untuk b1 sebagai berikut :
3. Selang Kepercayaan 100(1-a)% Untuk 
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , dan X0 merupakan nilai prediktor yang digu-nakan untuk eksperimen, maka penaksir atau dugaan nilai respon dinyatakan oleh persamaan berikut :
.Distribusi b0 dan b1 masing-masing normal, sedang X0 konstanta, maka 
yang merupakan fungsi linier b0 dan b1, berarti fungsi linier variabel random normal, menjadikan berdistribusi normal. Adapun mean dan varian-sinya adalah sebagai berikut :
yang merupakan fungsi linier b0 dan b1, berarti fungsi linier variabel random normal, menjadikan berdistribusi normal. Adapun mean dan varian-sinya adalah sebagai berikut :Mean() = E() = E(b0 + b1 X0) = b0 + b1 X0.
) = E() = E(b0 + b1 X0) = b0 + b1 X0.var() 
dan penaksir var() 
) dan penaksir var() Formula var() ini seperti yang telah ditampilkan pada materi Least Square. Dengan demikian, dapat dinya-takan :
) ini seperti yang telah ditampilkan pada materi Least Square. Dengan demikian, dapat dinya-takan : ~ 
Dengan penalaran seperti pada selang kepercayaan 100(1-a)% untuk b0 dan untuk b1 , didapatkan selang kepercayaan 100(1-a)% untuk sebagai berikut :
sebagai berikut :
4. Selang Prediksi 100(1-a)% Untuk
Selanjutnya, bila diketahui atau ditentukan nilai variabel bebas sebesar X0 , dan X0 bukan merupakan nilai pre-diktor yang digunakan untuk eksperimen, maka didapatkan penaksir atau dugaan nilai respon, yaitu sebesar :
sebesar : .Adapun variannya sedikit berbeda dengan var() terdahulu.
) terdahulu.Review:
Bila diketahui variabel random saling independen X1, X2, … , Xn , berasal dari populasi normal dengan mean m dan vari-ansi s2, maka nilai rata-ratanya, yaitu 
, akan berdistribusi normal dengan mean m dan variansi s2/n. Apabila terdapat variabel random lain, yaitu : Xn+1 yang berasal dari populasi tempat X1, X2, … , Xn berasal, maka Xn+1 juga mempunyai mean m dan variansi s2. Selisih antara Xn+1 dengan , yaitu (Xn+1 -) juga berdistribusi normal dengan mean dan va-riansi sebagai berikut :
, akan berdistribusi normal dengan mean m dan variansi s2/n. Apabila terdapat variabel random lain, yaitu : Xn+1 yang berasal dari populasi tempat X1, X2, … , Xn berasal, maka Xn+1 juga mempunyai mean m dan variansi s2. Selisih antara Xn+1 dengan , yaitu (Xn+1 -) juga berdistribusi normal dengan mean dan va-riansi sebagai berikut :mean (Xn+1 -)= m - m = 0 dan var(Xn+1 -)=s2+s2/n =s2(1+1/n)
)= m - m = 0 dan var(Xn+1 -)=s2+s2/n =s2(1+1/n)Variabel menyatakan penaksir Xi..
menyatakan penaksir Xi..Gambaran kejadiannya adalah sebagai berikut :
|
| |||
| |||
Apabila dianalogikan dengan model regresi, kejadiannya menjadi sebagai berikut :
|
| |||
| |||
Selisih antara 
dengan 
, yaitu (- ), berdistribusi normal dengan :
dengan , yaitu (- ), berdistribusi normal dengan : mean (- ) = 0
- ) = 0 var(- ) = var(
) + var()
- ) = var() + var() = s2 +
= s2 
Dengan demikian dapat dinyatakan bahwa :
~ N (0, s2 ,dan penaksir atau penduga varian () ialah : s2 ,
) ialah : s2 ,sehingga penaksir simpangan baku () menjadi : s 
.
) menjadi : s .Dengan penalaran seperti pada selang kepercayaan 100(1-a)% untuk b0 , b1 , dan 
, didapatkan selang pre-diksi 100(1-a)% untuk , yang pada pembahasan di atas dinamai sebagai berikut :
, didapatkan selang pre-diksi 100(1-a)% untuk , yang pada pembahasan di atas dinamai sebagai berikut :
dengan penaksir simpangan baku seperti yang tertulis di atas kotak yang memuat formula selang prediksi.
Turunkan penaksir simpangan baku () dan selang prediksi 100(1-a)% untuk 
, bila sample 2 berukuran q (pada pembahasan sebelumnya sampel 2 berukuran 1).
) dan selang prediksi 100(1-a)% untuk , bila sample 2 berukuran q (pada pembahasan sebelumnya sampel 2 berukuran 1). Pengujian Hipotesis
Pengujian hipotesis kemaknaan parameter sangat e-rat hubungannya dengan selang kepercayaan. Pe-ngujian hipotesis untuk mendeteksi kemaknaan per-bedaan suatu parameter terhadap nol atau nilai ter-tentu, masing-masing perumusannya adalah :
H0 : q = 0 terhadap H1 : q ¹ 0,
atau :
H0 : q = q0 terhadap H1 : q ¹ q0,
dengan q0 adalah nilai tertentu.
Pada analisis regresi sederhana, q merupakan para-meter koefisien regresi (b0 dan b1), atau nilai respon bila prediktor ditentukan (Y0). Berikut ini akan diu-raikan proses pengujian hipotesis dengan cara cepat dan cara lengkap.
Cara Cepat
Pada perumusan hipotesis pertama, apabila selang kepercayaan memuat nilai 0, yang ditandai oleh ba-tas bawah selang bernilai negatif dan batas atas bernilai positif; ini menyimpulkan H0 diterima. Pe-nerimaan H0 ini berarti perbedaan parameter dengan nol tidak bermakna, atau q boleh dianggap nol. Ke-balikannya, yaitu batas bawah selang dan batas atas bertanda sama, baik positif maupun negatif, berarti q berbeda bermakna dengan nol; boleh dianggap q tidak nol.
-----·----------o----------·------
batas bawah titik 0 batas atas
selang kepercayaan selang kepercayaan
Nilai batas atas dan batas bawah selang kepercayaan 100(1-a)% untuk b0 , b1 , dan 
, masing-masing adalah sebagai berikut :
, masing-masing adalah sebagai berikut :Para-meter | Batas Atas (baris pertama) Batas Bawah (baris ke dua) |
b0 |   |
b1 |   |
Y0 |  |
Perumusan hipotesis ke dua, proses pengujiannya seperti pada perumusan pertama, dengan mensubsti-tusikan nilai q0 pada 0.
Kriteria lain untuk memutuskan ialah nilai P. Bila nilai P ³ a, berarti menerima H0, dan bila P < a berarti menolak H0 .
Cara Lengkap
Cara ini mengikuti prosedur berikut :
i. Merumusan hipotesis dan menentuan nilai a
(biasanya a antara 0,01 sampai 0,10).
ii. Menghitung statistik uji.
iii. Menentukan titik kritis.
iv. Melakukan analisis keputusan dan interpretasi.
Pengujian Hipotesis b0
i. Perumusan Hipotesis
Perumusan hipotesis pertama,
H0 : b0 = 0 , H1 : b0 ¹ 0 , a = 0,05
Perumusan hipotesis ke dua,
H0 : b0 = b00 , H1 : b0 ¹ b00 , a = 0,05
dengan b00 bernilai tertentu.
ii. Perhitungan Statistik Uji
Dari penalaran selang kepercayaan 100(1-a)% untuk b0 didapatkan :
(s2 diketahui)atau :
(s2 tidak diketahui)Statistik uji yang digunakan menjadi :
Kepada b0 disubstitusikan nilai 0 atau b00, tergan-tung pada perumusan hipotesis.
Seringkali yang terjadi s2 tidak diketahui, sehingga bila H0 benar, maka statistik uji, yaitu T, akan ber-distribusi Student t dengan derajat bebas n -2, di-nyatakan :
~ tn-2 (untuk perumusan hipotesis pertama)
atau,
~ tn-2 (untuk perumusan hipotesis ke dua)
Ada pilihan statistik uji yang lebih populer digu-nakan di program paket, yaitu |T|.
iii. Penentuan Titik Kritis
Titik kritis disesuaikan dengan bentuk distribusi statistik uji pada kondisi H0 benar. Karena T ~ tn-2, maka titik kritisnya ialah : 
dengan 
.
.iv. Analisis Keputusan Dan Interpretasi
Setelah titik kritis ditentukan, maka terbentuk tiga area, dijelaskan pada tabel berikut :
Area | Lokasi | Arti |
I II III | T <    | Daerah penolakan H0 Daerah penerimaan H0 Daerah penolakan H0 |
Keputusan untuk perumusan hipotesis pertama :
- Titik kritis, T, nilainya kurang dari nilai ,
, maka H0 ditolak, berarti perbedaan b0 dengan 0
bermakna, boleh dianggap b0 ¹ 0.
- Titik kritis, T, diantara 
, maka
, maka perbedaan b0 dengan 0 tidak bermakna, boleh
dianggap b0 = 0.
- Bila titik kritis T lebih dari 
boleh diang-
boleh diang- gap b0 ¹ 0.
Catatan : Penolakan H0 secara langsung menjadi-
kan penerimaan H1 .
Keputusan untuk perumusan hipotesis ke dua :
Penalaran seperti pada keputusan perumusan perta-ma, tetapi nilai 0 diganti dengan nilai b00 .
Keputusan juga dapat berdasarkan nilai P, yaitu luas area dibawah kurva tn-2 yang melebihi nilai statistik uji, dinotasikan P|T| > nilai statistik uji. Bila nilai P ³ a, berarti menerima H0, dan bila P < a berarti menolak H0 .
Pengujian Hipotesis b1 dan Y0
Pengujian ini dapat dilakukan dengan mengadopsi proses pada pengujian hipotesis b0, dengan penye-suaian pada formula penaksir dan simpangan baku penaksir. Bentuk formula disesuaikan dengan para-meter yang diuji.
