Generalisasi Validitas
oleh
Laily Amin Fajariyah
A.
Pendahuluan
Penelitian yang baik adalah suatu penelitian yang
mampu memberikan informasi yang valid/sahih atau memiliki ketepatan data antara
data yang telah dikumpulkan dengan data sesungguhnya yang ada di lapangan.
Peneliti akan berupaya besar untuk memenuhi ketepatan tersebut melalui prosedur
pengukuran yang cermat. Namun, terkadang informasi yang diperoleh melalui
prosedur pengukuran apapun bisa keliru. Kekeliruan tersebut bergantung pada
saat kondisi pengukuran, misalnya dikarenakan alat ukur yang digunakan, pengukur,
kondisi pencahayaan, dan lain sebagainya. Meskipun semua pengukuran bisa keliru
sampai batas tertentu, namun para ilmuwan terus mencari cara untuk meningkatkan
ketepatan atau presisinya (Brennan, 2001: 1).
Cara yang dilakukan oleh peneliti tersebut antara lain
adalah dengan mereka sering melakukan pengukuran pada subset yang telah
ditentukan. Selain itu, untuk meningkakan presisi pengukuran tersebut mereka
memperbaiki satu atau lebih kondisi pengukuran, sebagai contoh menggunakan alat
ukut yang lebih khusus. Namun, penggunaan alat ukur spesifik ini akan
memberikan batasan di mana penelitian tersebut akan digeneralisasi. Istilahnya,
memperbaiki pengukuran memang akan mengurangi kesalahan dan meningkatkan
ketepatan pengukuran, namun akan menyempitkan interpretasi pengukuran.
Hal ini membuktikan bahwa kesalahan atau kekeliruan
yang kita anggap sebelumnya ada bukanlah suatu kesalahan namun merupakan
pendefinisian. Sehingga menganggap suatu “kekeliruan” merupakan kesalahan
permanen pengukuran adalah sesuatu hal yang berbeda dengan menanggapi
“kekeliruan” tersebut dan kemudian menghitung ‘error’ yang ada dan menentukan
kondisi pengukuran mana yang berkontribusi padanya. Untuk melakukannya, perlu
menetukan apa yang dimaksud dengan pengukuran “ideal” seperti menentukan
kondisi yang tepat untuk mengeneralisasi penelitian dan kondisi mana skor yang
diamati diperoleh (Brennan, 2001: 2). Dari kasus inilah muncul istilah
generalisabiliti atau disebut generalisasi.
Brennan (2001: 2) mengatakan: “Generalizability
theory enables an investigator to identify and quantify the sources of
inconsistencies in observed scores that arise, or could arise, over
replications of a measurement procedure.!” Teori generalisasi memungkinkan seorang
penyelidik untuk mengidentifikasi dan menghitung atau mengukur sumber
ketidakkonsistenan dalam skor yang diamati yang muncul, mungkin muncul lebih
dari replikasi prosedur pengukuran. Selanjutnya makalah ini akan membahas
tentang generalisasi khususnya generalisasi validitas, terkait pengertiannya,
prosedurnya, dan contohnya dalam penilaian Bahasa Inggris.
B.
Teori Generalisasi (Teori G)
Sebelum kita membahas lebih dalam tentang generalisasi
validitas, akan kita pelajari dulu teori generalisasi. Dalam buku yang pertaman
tentang “Generalizability Theory” yang ditulis oleh Richard J. Shavelson dan
Noreen M. Web (Shavelson & Webb, 1991:1) disampaikan pengertian
generalisabilitas sebagai berikut. “Generalizability is a statistical theory
about the dependability of behavioral measurement.” Dari kalimat ini,
sebagai pendahuluan kita mengetahui bahwa generalisasi adalah teori tentang keandalan
pada pengukuran tingkah laku. Keandalan
yang dimaksudkan adalah ketepatan generalisasi dari skor yang diamati dari
suatu pengukuran terhadap rata-rata skor yang akan diterima seseorang dalam
berbagai kondisi yang ada. Sehingga dapat disimpulkan bahwa keandalan adalah
suatu asumsi atas pengetahuan, sikap, keterampilan dan atribut pengukuran
lainnya dalam kondisi yang stabil. Sehingga, kita asumsikan jika ada perbedaan
skor seseorang dalam pengukuran yang berbeda waktunya adalah suatu kesalahan
pengukuran dan bukan merupakan perubahan sistemik karena kematangan belajar
(Shavelson & Webb, 1991:1).
Teori klasik hanya mampu mempreduksi satu sumber kesalahan
saja, misalkan variasi skor dalam hal waktu pelaksanaan pengukuran dengan
penggunaan reliabilitas tes-retes. Sedangkan, G theory, atau teori generalisasi
mampu menganalisa berbagai macam eror/kesalahan yang terjadi dalam suatu
pengukuran dan dianalisa dalam satu waktu. Teori generalisasi menawarkan
kerangka kerja konseptual yang luas dan seperangkat prosedur statistik yang
kuat untuk menangani berbagai pengukuran masalah. Teori ini bisa dipandang
sebagai perpanjangan dari teori klasik melalui aplikasi prosedur analisis
varians tertentu (ANOVA) untuk masalah pengukuran. Dengan kata lain, Teori G
mampu membantu pengambil keputusan untuk menentukan berapa kesempatan, bentuk
tes dan administrator diperlukan untuk menghasilkan skor yang andal. Dalam
prosesnya, teori G mampu menyajikan koefisien yang menunjukkan keandalan, yang
disebut dengan koefisien generalisasi (Shavelson & Webb, 1991:12; Brennan,
2001:2).
Kerangka kerja teori-G menggabungkan
dua tahap yang sesuai dengan dua tahap desain tes: (a) studi generalisasi (G-),
yang menghasilkan informasi yang dapat digunakan untuk merancang tes dan (b) sebuah
studi decision (D-), yang dapat digunakan untuk membuat keputusan tentang
individu atau kelompok individu (misalnya, sekolah). Studi-G digunakan untuk
mengevaluasi kepentingan relatif dari berbagai sumber pengukuran kesalahan dan
selidiki dampak berbagai perubahan dalam desain pengukuran (mis., nomor yang
berbeda tugas atau penilai / peringkat). Studi-D menggabungkan desain terbaik
untuk memungkinkan interpretasi skor keakuratan dalam kerangka referensi
relatif atau yang direferensikan norma atau dalam referensi absolut atau
kriteria (Brennan, 2001).
C.
Generalisasi Validitas/Validity Generalizability (VG)
Validitas merupakan hal utama dalam mengevaluasi kelayakan
interpretasi skor tes dan memberikan kerangka kerja umum untuk mengevaluasi
pengukuran. Selain itu, dalam kaitannya penggunaan suatu hasil penelitian untuk
diberlakukan ke kelompok di luar penelitian, maka persoalan lain yang disebut
validitas ekternal akan muncul. Sehingga meskipun penelitian tersebut telah
memiliki validitas ekternal, namun tingkat generalisasinya tetap menjadi suatu
pertimbangan (Andi Ulfa Tenri Pada, 2014: 1). Dari kasus generalisi dan
validitas inilah maka muncul kajian validity generalizability (biasa
disingkat VG yang akan diadaptasi dalam makalah ini, meskipun dalam Bahasa
Indonesianya adalah generalisasi validitas).
Biddle and Nooren (2006: 220) memberikan gambaran yang
relatif jelas tentang generalisasi validitas/ validity generalizability (VG)
ini. VG disebut juga meta analisis yang dilakukan di bidang pengukuran. Meta
analisis dalam VG ini adalah suatu teknik statistik yang digunakan untuk
mengkombinasikan hasil dari beberapa studi penelitian yang membentuk teori umum
tentang hubungan beberapa variabel
(misalnya tes dan kinerja) dalam situasi yang berbeda-beda. Pentingnya
pelaksanaan VG dalam suatu penelitian adalah untuk mengevaluasi keefektivan
atau validitas tes tertentu dalam mendeskripsikan hasilnya dalam lingkup yang
luas.
Untuk memahami VG ini, beberapa dasar statistik perlu
dipelajari. Bagian yang tak terpisahkan dari VG adalah koefisien validitas
yaitu pengukuran secara statistik yang menunjukkan hubungan antar variabel.
Korelasi statistik antar variable bisa tinggi bisa rendah. Di bidang pengujian
personil, korelasi lebih dari 0.35 memiliki label “sangat bermanfaat,” korelasi
antara 0.21 hingga 0.35 adalah "kemungkinan bermanfaat," korelasi
antara 0.11 - 0.20 diberi label sebagai "tergantung keadaan,” dan selanjutnya
yang kurang dari 0.11 bermerek “tidak mungkin berguna. Selain konsep koefisien
validitas, konsep statistik lainnya yang diperlukan dalam memahami VG adalah “VG
is a statistical power” Kekuatan yang dimaksud adalah kemampuan suatu studi
untuk menemukan hasil yang signifikan secara statistik. Studi validitas yang
memiliki ukuran sampel besar (mis., 500 subjek) memiliki kekuatan statistik
yang tinggi, dan mereka yang memiliki sampel kecil memiliki kekuatan statistik
yang rendah.
Power statistic inilah yang diteliti oleh Shmiidt
dan Hunter (1977) yang merupakan penelitian konvensional di mana generalisasi
validitas bermula. Schmidt & Hunter meneliti power statistik dari
penelitian-penelitian validitas terpilih dan mempertimbangkan suatu prosedur
untuk menguji hipotesis mengenai kekhususan yang bersifat situasional. Prosedur
baru yang digunakan adalah teknik meta analisis (seperti disampaikan sebelumnya
VG adalah sebuah meta analisis) untuk mengestimasi variansi kesalahan melalui
sejumlah hasil penelitian. Dengan menggunakan kumpulan penelitian terdahulu
serta menggunakan teknik meta analisis.
Terkait manfaat VG, Kane (1999) menyampaikan empat (4)
peran generalisasi dalam validitas, yaitu: (1) koefisien generalisasi
memberikan batas atas pada validitas, (2) generalisasi adalah satu langkah
dalam argumen yang paling interpretatif, dan oleh karena itu, generalisasi
adalah kondisi yang diperlukan untuk interpretasi validitas ini, (3) argumen
interpretatif menentukan estimasi yang tepat untuk generalisasi, dan (4)
generalisasi memberikan pembenaran untuk konten sintaksis label konstruk.
D.
Prosedur Dasar Generalisasi Validitas
Dalam penghitungannya, VG dihitung menggunakan ANOVA.
Prinsip dasar dari model VG adalah pemartisian variansi, yaitu identifikasi dan
pemilahan terhadap variansi dari validitas teramati yang bertanggung jawab
terhadap error sistematik yang berhubungan dengan artifak statistik dan error
dari random sampling. Secara khusus Pearlman, Schmidt, Hunter, Linn &
Dunbar menjelaskan dalam literatur generalisasi validitas bahwa efek sistematik
ini dapat dibaca pada bahasan-bahasan tentang perbedaan antara penelitian-penelitian
dalam hal reliabilitas tes, kriteria reliabilitas, hal Batasan interval, jumlah
dan jenis dari kriteria kontaminasi dan defisiensi, struktur factor dari tes
yang konstruk yang sama, dan perbedaan dalam penelitian-penelitian dalam hal
struktur faktor dari kriteria pengukuran (Schmidt et al., 1993). Dengan demikian
variansi yang tidak terkait dengan ketujuh faktor ini akan mencerminkan variabilitas
dari validitas yang sesungguhnya. Model dasar untuk generalisasi validitas
didasarkan pada suatu struktur persamaan untuk koefisien korelasi teramati
antara prediktor X dan kriteria Y yang dapat dituliskan sebagai berikut:
R = r’ + e
Keterangan: R adalah korelasi teramati, ρ’ adalah
korelasi populasi yang dibatasi, dan e adalah peluang error yang berhubungan
dengan sampling.
Jika dalam hal ini ukuran sampelnya tak terhingga,
maka korelasinya akan sebesar ρ’. Namun dengan ukuran sampel yang aktual (tidak
tak terhingga) maka ada perbedaan antar korelasi teramati (R) yang dihitung
dari data. Korelasi yang dibatasi dihitung dari data. Korelasi yang dibatasi
berbeda dari korelasi populasi yang berhubungan dengan ketidakreliabelan
prediktor, ketidakreliabelan kriteria, dan pembatasan jangkauan. Persamaan
struktural yang lengkap yang digunakan di hampir keseluruhan penelitian
generalisasi validitas dapat ditulis sebagai berikut:
r = abcr + e
Keterangan:
ρ = korelasi populasi
r = korelasi teramati
a = (ryy’)1/2 = akar kuadrat dari reliabilitas
kriteria
b = (xxr’)1/ 2 = akar kuadrat dari reliabilitas
kriteria
c = (u/(1+(u-1) ρ2a2b2))1/ 2 , adalah faktor
pembatasan jangkauan
e = kesalahan sampling
u = rasio dari SD terbatas terhadap SD tak
terbatas dari X.
E.
Aplikasi VG dalam Penilaian Bahasa Inggris
Aplikasi
VG dalam penilaian Bahasa Inggris diteliti oleh Jinyang Huang. Huang (2011: 124-5)
merangkum faktor-faktor yang mempengaruhi ketepatan dan validitas penilaian menulis
Bahasa Inggris khususnya ESL (English as a second Language= Bahasa
Inggris sebagai Bahasa kedua). Faktor tersebut adalah: (1) jenis dan kesulitan
tugas menulis dapat mempengaruhi penilaian menulis dalam ESL; (2) metode rating
(holistic vs analitic) dapat mengubah aplikasi kriteria rating dalam menilai tulisan
siswa, misalkan penilai cenderung menilai unsur kebahasaan dibandingkan isinya
ketika menggunakan rating holistik; (3) kriteria penilaian yang digunakan oleh
penilai adalah sumber utama kekhawatiran tentang akurasi dan validitas
peringkat tulisan ESL; (4) latar belakang dan pengalaman penilai dapat memiliki
dampak penting pada penilianan tulisan ESL; dan (5) pelatihan penilai/rater
juga dapat memengaruhi akurasi penilaian tulisan ESL.
Teori
G memiliki "peran penting dalam semua bentuk penilaian pendidikan,
termasuk penilaian menulis langsung dan penilaian kinerja di bidang lainnya. (Ferrara,
1993, h. 2). Teori G ini adalah metode statistik yang secara bersamaan dapat
mengidentifikasi berbagai sumber varians kesalahan dan memperkirakan dampak
sumber-sumber ini pada akurasi penilaian, mis., keandalan, memungkinkan penyelidik
mempertimbangkan banyak aplikasi suatu instrumen (Shavelson & Webb, 1991). Secara
teknis, teori-G menggunakan analisis varians (ANOVA) untuk membagi variasi
dalam skor berbagai sumber dan istilah interaksinya. Dalam hal penilaian
penulisan, ini membagi varians dalam skor penulisan yang ditugaskan untuk tugas
atau item, penilai / peringkat, kesalahan, dan komponen interaksi. Teori-G memberikan
indikasi paling kuat bahwa penilai memiliki peringkat yang sama dan juga
peringkat sebuah konstruksi umum (Shavelson & Webb, 1991).
Teori G telah semakin banyak
digunakan dalam berbagai konteks penelitian penilaian bahasa kedua, termasuk
penelitian dalam penilaian penulisan bahasa kedua. Penggunaan G-teori, studi
ini telah meneliti efek dari aspek yang berbeda (mis., pemberi rating/
penilaian, tugas menulis, dll.) pada akurasi dan variabilitas skor penulisan.
Untuk contoh, Schoonen (2005) meneliti efek dari penilai dan segi tugas pada
generalisasi skor menulis dan bagaimana efek ini tergantung pada kategori dan
metode penilaian. Temuannya menunjukkan bahwa skor penulisan secara substansial
dipengaruhi oleh hal-hal tersebut dan bukan dari kemahiran menulis. Efek karena
tugas dan penilai dalam tugas memberikan pengaruh besar pada skor akurasi dan
generalisasi. Namun, efek ini tergantung pada peringkat kategori dan metode. Awalnya
dikembangkan sebagai pendekatan yang komprehensif dan kuat untuk menilai
akurasi pengukuran, G-theory juga menyediakan metode untuk memeriksa validitas
konstruk penilaian kinerja (Shavelson & Webb, 1991). Teori G juga dapat mendukung kesimpulan
validitas konstruk melalui pengujian ukuran relatif komponen varians (Kraiger
& Teachout, 1990).
Hasil penelitian Huang (2011) adalah
sebagai berikut. Pertama, penelitian ini menunjukkan bahwa perbedaan variasi
skor memang ada antara ESL (siswa Bahasa Inggris sebagai Bahasa kedua) dan
siswa NE (Native English/penutur asli) ketika skor awal digunakan. Ada efek
besar bagi orang di dalamnya interaksi kelompok-menurut-peringkat bahasa dan
varians karena interaksi orang-per-peringkat adalah secara signifikan (p
<0,05) lebih besar untuk siswa ESL daripada untuk siswa NE di setiap jenjang.
Perbedaan karena untuk interaksi orang-per-peringkat mewakili varian yang tidak
diinginkan. Hasil ini menunjukkan bahwa ada kekurang konsistenan dalam pemberian
rating tulisan siswa ESL. Perbedaan seperti itu seharusnya tidak ada jika penilai
sama-sama mahir dalam mencetak tulisan siswa ESL sebagai tulisan siswa NE.
Kedua, yang diinginkan varians karena objek pengukuran secara signifikan (p
<0,05) lebih kecil untuk siswa ESL daripada untuk siswa NE dalam satu tahun
(2001). Perbedaan dalam hal variasi yang tidak diinginkan antara ESL dan skor
penulisan NE dapat menimbulkan pertanyaan tentang keakuratan dan membangun
validitas penulisan skor diberikan kepada siswa ESL dalam semua tiga tahun jika
skor awal digunakan.
Sub-pertanyaan penelitian kedua dan
keempat bertanya tentang perbedaan dalam akurasi nilai tertulis yang ditugaskan
untuk siswa ESL dan NE dan dampak dari perbedaan-perbedaan ini pada peringkat desain
untuk siswa ESL dibandingkan dengan siswa NE. Ketika skor awal digunakan, siswa
ESL memiliki koefisien G-secara signifikan lebih rendah (p <0,05) daripada
siswa NE dalam semua tiga tahun dan pada kenyataannya mereka hampir tidak bisa
memiliki koefisien G yang sebanding dengan siswa NE.
Sub-pertanyaan penelitian ketiga
bertanya tentang perbedaan validitas konstruk nilai tulisan yang ditugaskan
untuk siswa ESL dan NE. Ketika skor awal digunakan, ada yang signifikan (p
<0,05) validitas kurang konvergen dalam satu tahun (2001) dan validitas
kurang diskriminatif dalam semua tiga tahun dari nilai penulisan yang
ditugaskan untuk siswa ESL daripada siswa NE. Perbedaan hasil ini menunjukkan
adanya bias dalam rating tulisan ESL jika skor awal digunakan. Skor tulisan
kurang valid untuk siswa ESL akan menjadi hasil yang tidak adil dan dapat menyebabkan
konsekuensi lainnya yang tidak diinginkan (Johnson et al., 2000).
Bersama-sama, perbedaan selama tiga
tahun dalam hal akurasi dan validitas konstruk antara skor tulisan siswa ESL
dan NE menimbulkan pertanyaan tentang kewajaran nilai atau skor tulisan awal
yang ditugaskan untuk siswa ESL ini. Jika skor tulisan siswa ESL tidak sama
akurat dan valid sebagai nilai tulisan siswa NE, maka keadilan dapat menjadi
perhatian bagi siswa ESL (Johnson et al., 2000). Perbedaan dalam akurasi dan
validitas mungkin menyarankan kemampuan yang tidak setara untuk digunakan
penilai skala analitik untuk pentulisan siswa ESL dibandingkan dengan tulisan
siswa NE. Namun selanjutnya penelitian akan diperlukan untuk menentukan
penyebab perbedaan-perbedaan ini. Sebagai kesimpulan, penelitian ini memberikan
bukti awal bahwa skor tulisan yang ditugaskan untuk ESL dan NE siswa
menghasilkan perbedaan yang signifikan dalam hal akurasi dan validitas konstruk
ketika skor awal diperhitungkan. Namun, pemeriksaan lebih lanjut diperlukan
untuk menentukan sejauh mana perbedaan ini mempengaruhi keadilan penilaian
keterampilan menulis bahasa Inggris siswa ESL dan untuk menemukan cara untuk
mempromosikan akurasi dan validitas penilaian penulisan ESL.
F.
Penutup
Teori generalisasi memungkinkan seorang penyelidik
untuk mengidentifikasi dan menghitung atau mengukur sumber ketidakkonsistenan
dalam skor yang diamati yang muncul, mungkin muncul lebih dari replikasi
prosedur pengukuran. Secara
teknis, generalisasi validitas (VG) dihitung menggunakan ANOVA. Prinsip dasar
dari model VG adalah pemartisian variansi, yaitu identifikasi dan pemilahan
terhadap variansi dari validitas teramati yang bertanggung jawab terhadap error
sistematik yang berhubungan dengan artifak statistik dan error dari random
sampling. Dalam pembelajaran Bahasa Inggris, telah semakin banyak digunakan
dalam berbagai konteks penelitian penilaian bahasa kedua, termasuk penelitian
dalam penilaian penulisan bahasa kedua.
DAFTAR PUSTAKA
Andi Ulfa Tenri Pada. (2014). Generalisasi validitas dalam penelitian
kuantitatif. Dalam Jurnal Biologi Edukasi Edisi 12, Volume 6 Nomor 1, Juni
2014, hal 39-42.
Biddle,
D.A. & Nooren, P.M. (2006). Validity generalization vs. Title VII: can
employers successfully defend tests without conducting local validation
studies? Dalam Labor Law Journal pp 216-237
Brennan, R.L. (2001). Generalizability Theory. Los Angles:
Springer
Huang, J. (2011). Using generalizability theory to examine the accuracy
and validity of large-scale ESL writing assessment. Assessing Writing 17
(2012) 123–139
Johnson, R. L., Penny, J., & Gordon, B. (2000). The relation between
score resolution methods and interrater reliability: An empirical study of an
analytic rating rubric. Applied Measurement in Education, 13 (2),
121–138.
Kane, M. (1999). The
role of generalizability in validity. Paper presented at the Annual Meeting
of the National Council on Measurement in Education (Montreal, Quebec, Canada, April 19-23, 1999). Psychology, 78, 3-12.
Schmidt,
F.L., dan Hunter, J.E. (1981). Employment testing: Old theories and new
research findings. American Psychologist, 36:1128-1137.
Schmidt, F. L., Law, K., Hunter, J. E., Rothstein, H. R., Pearlman, K.,
& McDaniel, M. (1993). Refinements in validity generalization methods:
Implications for the situational specificity hypothesis. Journal of Applied Psychology,
78(1), 3-12.
Schoonen,
R. (2005). Generalizability of writing scores: An application of structural
equation modeling. Language Testing, 22 (1), 1–30.
Shavelson, R.J. &
Webb, N.M. (1991). Generalizability Theory: a primer. London: Sage
Publications.
