192

Desain Eksperimen

Topik Diskusi Percobaan laboratorium dan percobaan lapangan Control Manipulasi Mengontrol variable yang mencemari Validitas internal Validitas eksternal Membandingkan antara validitas internal dan eksternal Factor-faktor yang mempengaruhi validitas Validitas internal dalam studi kasus Jenis desain eksperimental dan validitas Simulasi Masalah etika dalam penelitian eksperimen implikasi manajerial Lampiran: desain eksperimen lebih lanjut

Tujuan BabSetelah menyelesaikan Bab 10, Anda harus dapat:1. membedakan antara kausal dan analisis korelasional.2. menjelaskan perbedaan antara percobaan laboratorium dan lapangan.3. Jelaskan istilah-istilah berikut: variabel gangguan, manipulasi, kelompok eksperimen dan kontrol, efek, pencocokan, dan pengacakan.4. mendiskusikan validitas internal dan eksternal dalam desain eksperimen.5. mendiskusikan tujuh kemungkinan ancaman terhadap validitas internal dalam desain eksperimen.6. menjelaskan berbagai jenis desain eksperimen.7. mendiskusikan desain Solomon empat kelompok dan implikasinya terhadap validitas internal dan eksternal.8. Terapkan apa yang telah dipelajari untuk tugas kelas dan ujian.

Dalam Bab 6, kami memeriksa desain penelitian dasar. Kami dibedakan kausal dari studi korelasional dan menjelaskan bahwa penelitian eksperimental biasanya digunakan ketika peneliti tertarik dalam membangun hubungan sebab akibat.Perhatikan tiga skenario berikut.

ContohHubungan sebab akibat setelah pengacakan

Scenario A.Sebuah pabrik mobil mewah telah memutuskan untuk meluncurkan kampanye komunikasi merek global untuk memperkuat citra mobil tersebut. Sebuah kampanye 18-bulan yang dijadwalkan akan diluncurkan di seluruh dunia, dengan iklan di televisi, cetak, dan media elektronik. Di bawah judul Bravura, biro iklan terkenal mengembangkan tiga konsep kampanye yang berbeda. Untuk menentukan konsep-konsep ini adalah yang paling efektif, produsen mobil ingin menguji pengaruhnya terhadap citra merek. Tapi bagaimana bisa produsen mobil menguji efektivitas konsep-konsep ini?Skenario BSebuah studi tentang ketidakhadiran dan langkah-langkah yang diambil untuk mengekang ini menunjukkan bahwa perusahaan menggunakan insentif berikut untuk mengurangi:14% memberikan bonus hari39% menawarkan kas39% pengakuan ini penghargaan4 % Hadiah penghargaan 4% mengejar strategi lain.Ditanya tentang efektivitas mereka,22% dari perusahaan mengatakan mereka sangat efektif66% mengatakan mereka agak efektif12% mengatakan mereka sama sekali tidak efektif.Apa informasi di atas kita? Bagaimana kita tahu apa jenis insentif menyebabkan orang tidak absen sendiri? Apa insentif tertentu (s) melakukan 22% perusahaan yang ditemukan strategi mereka untuk menjadi "sangat efektif" menawarkan? Apakah ada hubungan kausal langsung antara satu atau dua insentif tertentu dan absensi?Skenario CEfek belati PHK adalah bahwa ada penurunan tajam dalam komitmen pekerja yang dipertahankan, meskipun mereka mungkin juga memahami logika pengurangan tenaga kerja.Apakah PHK benar-benar menyebabkan komitmen karyawan untuk menurunkan, atau sesuatu yang lain beroperasi dalam situasi ini?

Jawaban atas pertanyaan yang diajukan dalam Skenario A, B, dan C bisa ditemukan dengan menggunakan desain eksperimen dalam meneliti masalah.Dalam Bab 6 kita menyentuh pada desain eksperimental. Dalam bab ini, kita akan membahas kedua percobaan laboratorium dan percobaan lapangan secara rinci. Desain eksperimental, seperti yang kita tahu, yang dibentuk untuk meneliti kemungkinan hubungan sebab-akibat antara variabel, berbeda dengan studi korelasional, yang meneliti hubungan antara variabel tanpa harus berusaha untuk menentukan apakah satu variabel penyebab lain.Kami telah menjelaskan bahwa dalam rangka menetapkan bahwa perubahan variabel independen menyebabkan perubahan dalam variabel dependen: (1) yang independen dan variabel dependen harus covary; (2) variabel independen harus mendahului variabel dependen; (3) tidak ada faktor lain yang harus menjadi penyebab dari perubahan variabel dependen; (4) penjelasan logis diperlukan tentang mengapa variabel independen mempengaruhi variabel dependen.Kondisi ketiga menyiratkan bahwa untuk membangun hubungan kausal antara dua variabel dalam sebuah kerangka organisasi, beberapa variabel yang mungkin covary dengan variabel dependen harus dikontrol. Hal ini kemudian memungkinkan kita untuk mengatakan bahwa variabel X, dan X variabel saja, menyebabkan variabel dependen Y. Namun, hal ini tidak selalu mungkin untuk mengontrol semua kovariat sementara memanipulasi faktor penyebab (variabel independen yang menyebabkan variabel dependen) di pengaturan organisasi, di mana peristiwa mengalir atau terjadi secara alami dan normal. Hal ini, bagaimanapun, mungkin untuk pertama mengisolasi efek dari variabel dalam pengaturan buatan dikontrol ketat (pengaturan lab), dan setelah pengujian dan membangun hubungan sebab-akibat kondisi ini dikontrol ketat, melihat bagaimana digeneralisasikan hubungan tersebut ke pengaturan lapangan.Mari kita menggambarkan hal ini dengan sebuah contoh.

ContohMisalkan manajer percaya bahwa kepegawaian departemen akuntansi sepenuhnya dengan personil dengan M. Acc. (Master Akuntansi) derajat akan meningkatkan produktivitasnya. Hal ini juga hampir tidak mungkin untuk mentransfer semua orang tanpa M. Acc. Gelar saat ini di departemen ke departemen lain dan merekrut M.Acc segar. pemegang gelar untuk mengambil tempat mereka. Seperti tindakan terikat untuk mengganggu kerja dari seluruh organisasi karena banyak orang baru harus dilatih, pekerjaan akan melambat, karyawan akan marah, dan sebagainya. Namun, hipotesis bahwa kepemilikan sebuah M.Acc. Gelar akan menyebabkan peningkatan produktivitas dapat diuji dalam pengaturan artifisial diciptakan (yaitu, bukan di tempat kerja biasa) di mana pekerjaan akuntansi dapat diberikan kepada tiga kelompok orang: mereka yang memiliki M.Acc. derajat, mereka tanpa M.Acc. derajat, dan kelompok campuran mereka dengan dan tanpa M.Acc. Gelar (seperti halnya dalam lingkungan kerja sekarang). Jika kelompok pertama melakukan dengan sangat baik, kelompok kedua buruk, dan kelompok ketiga jatuh di suatu tempat di tengah, akan ada bukti yang menunjukkan bahwa M.Acc. Gelar kualifikasi memang dapat menyebabkan produktivitas meningkat. Jika bukti tersebut ditemukan, kemudian direncanakan dan upaya sistematis dapat dimulai secara bertahap mentransfer mereka tanpa M.Acc. Gelar di departemen akuntansi ke departemen lain dan merekrut orang lain dengan gelar ini untuk departemen ini. Hal ini kemudian mungkin untuk melihat apa produktivitas sejauh sebenarnya tidak, naik di departemen karena semua anggota staf M.Acc. pemegang gelar.

Seperti yang kita lihat sebelumnya, desain eksperimen terbagi dalam dua kategori: eksperimen dilakukan dalam lingkungan buatan atau dibuat-buat, yang dikenal sebagai percobaan laboratorium, dan mereka dilakukan dalam lingkungan alam di mana kegiatan rutin berlangsung, yang dikenal sebagai percobaan lapangan.

Percobaan LaboratoriumSeperti yang dinyatakan sebelumnya, ketika hubungan sebab-akibat antara independen dan variabel dependen yang menarik adalah untuk secara jelas, maka semua variabel lain yang mungkin mencemari atau mengacaukan hubungan-kapal harus dikontrol ketat. Dengan kata lain, kemungkinan efek variabel lain pada variabel dependen harus diperhitungkan dalam beberapa cara, sehingga efek kausal sebenarnya dari diselidiki variabel independ-ent pada variabel dependen dapat ditentukan. Hal ini juga diperlukan untuk memanipulasi variabel independen sehingga tingkat efek kausal yang dapat dibentuk. Kontrol dan manipulasi yang paling baik dilakukan dalam pengaturan buatan (laboratorium), di mana efek kausal dapat diuji. Ketika kontrol dan manipulasi diperkenalkan untuk membangun hubungan sebab-akibat dalam pengaturan buatan, kita memiliki laboratorium desain eksperimental, juga dikenal sebagai percobaan laboratorium.Karena kita menggunakan kontrol syarat dan manipulasi, mari kita memeriksa apa konsep-konsep ini berarti.

KontrolKetika kita mendalilkan hubungan sebab-akibat antara dua variabel X dan Y, adalah mungkin bahwa beberapa faktor lain, misalnya A, mungkin juga mempengaruhi variabel dependen Y. Dalam kasus seperti itu, maka akan tidak mungkin untuk menentukan sejauh yang Y terjadi hanya karena X, karena kita tidak tahu berapa banyak total variasi Y disebabkan oleh adanya faktor lain A. misalnya, seorang manajer Pengembangan Sumber Daya Manusia mungkin mengatur pelatihan khusus untuk satu set baru direkrut sekretaris dalam menciptakan halaman web, untuk membuktikan kepada VP (bosnya) bahwa pelatihan tersebut menyebabkan mereka untuk berfungsi lebih efektif. Namun, beberapa sekretaris baru bisa berfungsi lebih efektif daripada yang lain terutama atau sebagian karena mereka telah memiliki pengalaman intermiten sebelumnya dengan menggunakan web. Dalam hal ini, manajer tidak dapat membuktikan bahwa pelatihan khusus saja disebabkan efektivitas yang lebih besar, karena pengalaman web intermiten sebelumnya beberapa sekretaris merupakan faktor kontaminasi. Jika efek sebenarnya dari pelatihan pembelajaran yang akan dinilai, maka pengalaman pelajar sebelumnya telah dikontrol. Hal ini dapat dilakukan dengan tidak termasuk dalam percobaan mereka yang sudah memiliki beberapa pengalaman dengan web. Inilah yang kita maksudkan ketika kita mengatakan bahwa kita harus mengontrol faktor kontaminasi, dan kita kemudian akan melihat bagaimana hal ini dilakukan.

ManipulasiUntuk meneliti efek kausal dari variabel independen terhadap variabel dependen, manipulasi tertentu harus mencoba. Manipulasi hanya berarti bahwa kita menciptakan berbagai tingkat variabel independen untuk menilai dampak pada variabel dependen. Sebagai contoh, kita mungkin ingin menguji teori bahwa kedalaman pengetahuan berbagai teknologi manufaktur disebabkan dengan memutar karyawan di semua pekerjaan di jalur produksi dan departemen desain, selama empat minggu. Kemudian kita dapat memanipulasi variabel independen, "rotasi karyawan," dengan memutar satu kelompok pekerja produksi dan mengekspos mereka untuk semua sistem selama periode minggu empat, berputar kelompok lain pekerja hanya sebagian selama empat minggu (yaitu, memperlihatkan mereka hanya setengah dari teknologi manufaktur), dan meninggalkan kelompok ketiga untuk terus melakukan apa yang sedang mereka lakukan, tanpa rotasi khusus. Dengan mengukur kedalaman pengetahuan dari kelompok ini baik sebelum dan sesudah

manipulasi (juga dikenal sebagai pengobatan), adalah mungkin untuk menilai sejauh mana pengobatan menyebabkan efek, setelah mengendalikan faktor kontaminasi. Jika pengetahuan yang mendalam memang disebabkan oleh rotasi dan paparan, hasilnya akan menunjukkan bahwa kelompok ketiga memiliki peningkatan terendah di kedalaman pengetahuan, kelompok kedua memiliki beberapa peningkatan yang signifikan, dan kelompok pertama memiliki keuntungan terbesar!Mari kita lihat contoh lain bagaimana hubungan kausal ditetapkan dengan memanipulasi variabel independen.

ContohMari kita katakan kita ingin menguji efek pencahayaan pada tingkat produksi pekerja antar operator mesin jahit. Untuk membangun hubungan sebab-akibat, pertama-tama kita harus mengukur tingkat produksi semua operator selama 15 hari dengan jumlah yang biasa cahaya mereka bekerja dengan - mengatakan 60 lampu watt. Kami kemudian mungkin ingin membagi kelompok 60 operator menjadi tiga kelompok dari 20 anggota masing-masing, dan sementara memungkinkan satu subkelompok untuk terus bekerja di bawah kondisi yang sama seperti sebelumnya (60 watt bola lampu listrik), kita mungkin ingin memanipulasi intensitas cahaya untuk dua sub kelompok lainnya, dengan membuat kerja satu kelompok dengan 75 watt dan yang lainnya dengan 100 watt lampu. Setelah kelompok yang berbeda telah bekerja dengan ini derajat yang berbeda-beda dari paparan cahaya selama 15 hari, masing-masing kelompok berjumlah produksi untuk 15 hari dapat dianalisis untuk melihat apakah perbedaan antara pre-eksperimental dan produksi pasca-percobaan di antara kelompok-kelompok yang secara langsung terkait dengan intensitas cahaya yang mereka telah terkena. Jika hipotesis kami bahwa pencahayaan yang lebih baik meningkatkan tingkat produksi benar, maka subkelompok yang tidak memiliki perubahan dalam pertempuran (disebut kelompok kontrol), seharusnya tidak ada peningkatan produksi dan dua kelompok lainnya harus menunjukkan peningkatan, dengan mereka yang memiliki yang paling ringan (100 watt) menunjukkan peningkatan yang lebih besar daripada mereka yang memiliki pencahayaan 75 watt.

Dalam kasus di atas variabel independen, berkelahi, telah dimanipulasi dengan mengekspos kelompok yang berbeda untuk berbagai tingkat perubahan di dalamnya. Ini manipulasi variabel independen juga dikenal sebagai pengobatan, dan hasil pengobatan yang disebut efek pengobatan.Mari kita menggambarkan bagaimana variabel X dapat baik dikontrol dan dimanipulasi dalam pengaturan laboratorium melalui contoh lain.

ContohMari kita katakan pengusaha - pemilik pabrik mainan agak kecewa dengan jumlah imitasi action figure Batman yang diproduksi oleh pekerjanya, yang dibayar upah pada tarif per jam. Ia mungkin bertanya-tanya apakah mereka membayar tarif sepotong akan meningkatkan tingkat produksi mereka. Namun, sebelum menerapkan sistem nilai sepotong, dia ingin memastikan bahwa beralih ke sistem baru memang akan mencapai tujuan.Dalam kasus seperti ini, peneliti mungkin pertama ingin menguji hubungan kausal dalam pengaturan laboratorium, dan jika hasilnya menggembirakan, melakukan percobaan kemudian dalam pengaturan lapangan. Dalam merancang percobaan laboratorium, peneliti pertama harus memikirkan kemungkinan faktor yang mempengaruhi tingkat produksi pekerja, dan kemudian mencoba untuk mengendalikan ini. Selain tingkat sepotong, pengalaman kerja sebelumnya mungkin juga mempengaruhi tingkat produksi karena keakraban dengan pekerjaan membuatnya mudah bagi orang untuk meningkatkan tingkat produktivitas mereka. Dalam beberapa kasus, di mana pekerjaan yang sangat berat dan membutuhkan kekuatan otot, perbedaan gender dapat mempengaruhi produktivitas.

Mari kita mengatakan bahwa untuk jenis pekerjaan produksi dibahas sebelumnya, usia, jenis kelamin, dan pengalaman sebelumnya dari karyawan adalah faktor-faktor yang mempengaruhi tingkat produksi karyawan. Peneliti perlu mengendalikan tiga variabel tersebut. Mari kita lihat bagaimana hal ini dapat dilakukan.Misalkan peneliti bermaksud untuk mendirikan empat kelompok 15 orang masing-masing untuk percobaan laboratorium - satu untuk digunakan sebagai kelompok kontrol, dan tiga lainnya mengalami tiga manipulasi upah yang berbeda. Sekarang, variabel yang mungkin berdampak pada hubungan sebab akibat dapat dikontrol dalam dua cara yang berbeda: baik dengan cara mencocokkan kelompok atau melalui pengacakan. Konsep-konsep ini dijelaskan sebelum kita melangkah lebih jauh.

Mengontrol eksogen mencemari atau "gangguan" variabel

kelompok pencocokanSalah satu cara untuk mengendalikan kontaminasi atau "gangguan" variabel adalah dengan mencocokkan berbagai kelompok dengan memilih karakteristik pengganggu dan sengaja menyebarkannya di seluruh kelompok. Misalnya, jika ada 20 perempuan di antara 60 anggota, maka setiap kelompok akan ditugaskan lima wanita, sehingga efek dari gender didistribusikan di empat kelompok. Demikian juga, faktor usia dan pengalaman dapat dicocokkan di empat kelompok, sehingga masing-masing kelompok memiliki campuran individu yang sama dalam hal jenis kelamin, usia, dan pengalaman. Karena faktor-faktor yang diduga mencemari dicocokkan seluruh kelompok, kita dapat yakin mengatakan bahwa variabel X saja menyebabkan variabel Y (jika, tentu saja, yang merupakan hasil penelitian).

pengacakanCara lain untuk mengendalikan variabel mengkontaminasi adalah untuk menetapkan 60 anggota secara acak (yaitu, dengan tidak ada takdir) untuk empat kelompok. Artinya, setiap anggota akan memiliki kesempatan dikenal dan sama untuk ditugaskan ke salah satu dari empat kelompok. Misalnya, kita mungkin membuang nama-nama semua 60 anggota menjadi topi dan menarik nama-nama mereka. Pertama 15 nama yang diambil dapat ditugaskan untuk kelompok pertama, kedua 15 untuk kelompok kedua, dan seterusnya, atau orang pertama yang diambil mungkin ditugaskan untuk kelompok pertama, orang kedua tertarik pada kelompok kedua, dan seterusnya . Dengan demikian, dalam pengacakan, proses dimana individu diambil (yaitu, semua orang memiliki dikenal dan setara kesempatan ditarik) dan tugas mereka untuk kelompok tertentu (setiap individu dapat ditugaskan untuk salah satu dari kelompok mengatur) keduanya acak. Dengan demikian anggota secara acak menugaskan kepada kelompok kami mendistribusikan variabel pengganggu di antara kelompok-kelompok yang sama. Artinya, variabel usia, jenis kelamin, dan pengalaman sebelumnya - variabel yang dikendalikan - akan memiliki probabilitas yang sama didistribusikan di antara kelompok-kelompok.Proses pengacakan idealnya memastikan bahwa setiap kelompok dapat dibandingkan dengan orang lain, dan bahwa semua variabel, termasuk dampak dari usia, jenis kelamin, dan pengalaman sebelumnya, dikendalikan. Dengan kata lain, masing-masing kelompok akan memiliki beberapa anggota yang memiliki pengalaman lebih berbaur dengan orang-orang yang kurang atau tidak ada pengalaman. Semua kelompok akan memiliki anggota usia yang berbeda dan komposisi jenis kelamin. Dengan demikian, pengacakan memastikan bahwa jika variabel tersebut memang memiliki efek iuran atau pengganggu, kita telah dikendalikan efek pembaur mereka (bersama dengan orang-orang dari faktor lain yang tidak diketahui) dengan mendistribusikan mereka di kelompok. Hal ini dicapai karena ketika kita memanipulasi variabel independen tingkat sepotong demi tidak memiliki sistem nilai potongan sama sekali untuk satu kelompok (kontrol) dan memiliki tingkat bagian yang berbeda untuk tiga kelompok lainnya (percobaan), kita dapat menentukan efek kausal potongan harga pada tingkat produksi. Kesalahan atau bias yang disebabkan oleh usia, jenis kelamin, dan pengalaman sebelumnya kini merata di antara semua empat kelompok. Setiap efek kausal ditemukan akan berakhir dan di atas efek dari variabel pengganggu.

hubungan sebab akibat setelah pengacakankelompokperlakuanefek perlakuan (% peningkatan produksiselama system tingkat sepotong pria)kelompok eksperimen 1$1 perpotong10kelompok eksperimen 2$1.5 perpotong15kelompok eksperimen 3$2 perpotong20kelompok control tarif perjam lama0(tidak ada perlakuan)

Untuk membuat jelas, mari kita menggambarkan hal ini dengan beberapa tokoh yang sebenarnya, seperti dalam Tabel 10.1. Perhatikan bahwa karena efek dari pengalaman, jenis kelamin, dan usia dikendalikan dalam semua empat kelompok secara acak menugaskan anggota untuk mereka, dan kelompok kontrol tidak peningkatan produktivitas, dapat diandalkan disimpulkan dari hasil yang meningkat persentase produksi adalah hasil dari tingkat potongan (efek pengobatan). Dengan kata lain, tingkat potongan adalah penyebab peningkatan jumlah mainan yang diproduksi. Kita tidak bisa sekarang mengatakan bahwa hubungan sebab-akibat telah dikacaukan oleh lainnya "gangguan" variabel, karena mereka telah dikendalikan melalui proses acak menugaskan anggota untuk kelompok. Di sini, kami memiliki validitas internal yang tinggi atau kepercayaan dalam hubungan sebab akibat.

Keuntungan dari pengacakan. Perbedaan antara pencocokan dan pengacakan adalah bahwa dalam kasus mantan individu sengaja dan sadar cocok untuk mengendalikan perbedaan di antara anggota kelompok sedangkan dalam kasus terakhir kami berharap bahwa proses pengacakan akan mendistribusikan kesenjangan antara kelompok-kelompok berdasarkan hukum distribusi normal. Dengan demikian, kita tidak perlu menjadi sangat khawatir tentang faktor-faktor pengganggu yang diketahui atau tidak diketahui.Singkatnya, dibandingkan dengan pengacakan, pencocokan mungkin kurang efektif, karena kita mungkin tidak tahu semua faktor yang mungkin bisa mencemari hubungan sebab-akibat dalam situasi tertentu, dan karenanya gagal untuk mencocokkan beberapa faktor penting di semua kelompok ketika melakukan percobaan. Pengacakan, bagaimanapun, akan mengurus ini, karena semua faktor kontaminasi akan tersebar di semua kelompok. Selain itu, bahkan jika kita tahu variabel pengganggu, kita mungkin tidak dapat menemukan pertandingan untuk semua variabel tersebut. Misalnya, jika jenis kelamin adalah variabel pengganggu, dan jika hanya ada dua wanita dalam empat kelompok desain eksperimental, kita tidak akan bisa cocok dengan semua kelompok sehubungan dengan gender. Pengacakan memecahkan dilema ini juga. Dengan demikian, laboratorium desain eksperimen melibatkan kontrol variabel mencemari melalui proses baik cocok atau pengacakan, dan manipulasi perlakuan.

Validitas internal dari percobaan laboratoriumValiditas internal mengacu pada keyakinan kita tempatkan dalam hubungan sebab-akibat. Dengan kata lain, itu alamat pertanyaan, "Sejauh mana desain penelitian mengizinkan kita untuk mengatakan bahwa variabel independen A menyebabkan perubahan variabel dependen B?" Seperti Kidder dan Judd (1986) catatan, dalam penelitian dengan validitas internal yang tinggi, kita relatif lebih mampu untuk menyatakan bahwa hubungan kausal, sedangkan pada penelitian dengan validitas internal yang rendah, kausalitas tidak dapat disimpulkan sama sekali. Dalam percobaan laboratorium di mana hubungan sebab-akibat yang didukung, validitas internal dapat dikatakan tinggi.Sejauh ini kita telah berbicara tentang membangun hubungan sebab-akibat dalam pengaturan laboratorium, yang merupakan lingkungan artifisial diciptakan dan dikendalikan. Anda mungkin sendiri telah menjadi bagian mengambil subjek di salah satu

percobaan laboratorium yang dilakukan oleh psikologi atau departemen lain di kampus beberapa waktu. Anda mungkin tidak secara khusus diberitahu hubungan apa sebab-akibat eksperimen cari, tetapi Anda akan diberitahu apa yang disebut cerita sampul. Artinya, Anda akan telah diberitahu tentang secara umum dari beberapa alasan untuk studi dan peran Anda di dalamnya, tanpa membocorkan tujuan sebenarnya. Setelah akhir percobaan Anda akan juga telah mewawancarai dan diberi penjelasan lengkap tentang percobaan, dan setiap pertanyaan yang mungkin Anda miliki akan dijawab. Ini adalah bagaimana percobaan laboratorium biasanya dilakukan: pelajaran dipilih dan ditugaskan untuk kelompok yang berbeda melalui pencocokan atau pengacakan; mereka pindah ke pengaturan laboratorium; mereka diberi beberapa rincian dari studi dan tugas untuk melakukan; dan beberapa jenis kuesioner atau tes lainnya diberikan baik sebelum dan setelah tugas selesai. Hasil penelitian ini menunjukkan hubungan sebab-akibat antara variabel yang sedang diteliti.

Validitas eksternal atau generalisasi percobaan laboratoriumSejauh mana yang hasil ditemukan di laboratorium pengaturan dipindahtangankan atau digeneralisasikan untuk pengaturan organisasi atau lapangan yang sebenarnya? Dengan kata lain, jika kita menemukan hubungan sebab-akibat setelah melakukan percobaan laboratorium, dapat kita kemudian yakin mengatakan bahwa sama hubungan sebab-akibat juga akan berlaku dalam pengaturan organisasi?Pertimbangkan situasi berikut. Jika, dalam rancangan percobaan laboratorium, kelompok diberi tugas produksi sederhana meniduri baut dan mur ke sebuah bingkai plastik, dan hasilnya menunjukkan bahwa kelompok-kelompok yang dibayar dengan upah yang kecil lebih produktif daripada mereka yang dibayar per jam, untuk sejauh mana kita bisa kemudian mengatakan bahwa ini akan menjadi kenyataan sifat canggih dari pekerjaan yang dilakukan dalam organisasi? Tugas dalam pengaturan organisasi jauh lebih kompleks, dan mungkin ada beberapa variabel pengganggu yang tidak dapat dikontrol - misalnya, pengalaman. Dalam keadaan seperti itu, kita tidak bisa memastikan bahwa hubungan sebab-akibat yang ditemukan dalam percobaan laboratorium ini tentu akan berlaku dalam pengaturan lapangan. Untuk menguji hubungan kausal dalam pengaturan organisasi, percobaan lapangan dilakukan. Ini sekarang akan dibahas secara singkat.

PERCOBAAN LAPANGANPercobaan lapangan, seperti namanya, adalah eksperimen yang dilakukan dalam lingkungan alam di mana pekerjaan berlangsung seperti biasa, tapi perawatan yang diberikan kepada satu atau lebih kelompok. Dengan demikian, dalam percobaan lapangan, meskipun tidak mungkin untuk mengontrol semua variabel pengganggu karena anggota tidak dapat berupa acak ditugaskan untuk kelompok, atau cocok, pengobatan masih bisa dimanipulasi. Kelompok kontrol juga dapat diatur dalam percobaan lapangan. Kelompok eksperimen dan kontrol dalam percobaan lapangan dapat terdiri dari orang-orang yang bekerja di beberapa pabrik dalam radius tertentu, atau dari pergeseran yang berbeda di pabrik yang sama, atau dengan cara lain. Jika ada tiga shift yang berbeda dalam pabrik produksi, misalnya, dan efek dari sistem nilai potongan yang harus dipelajari, salah satu pergeseran dapat digunakan sebagai kelompok kontrol, dan dua shift lain yang diberikan dua perlakuan yang berbeda atau perlakuan yang sama - yaitu, tingkat bagian yang berbeda atau tingkat bagian yang sama. Setiap hubungan sebab-akibat yang ditemukan pada kondisi ini akan memiliki generalisasi yang lebih luas untuk pengaturan produksi lain yang sejenis, meskipun kita mungkin tidak yakin sejauh mana tingkat sepotong saja adalah penyebab peningkatan produktivitas, karena beberapa faktor lainnya variabel tidak bisa dikendalikan.

validitas eksternalApa yang kita bahas dapat disebut sebagai masalah keabsahan eksternal terhadap validitas internal. Validitas eksternal mengacu pada sejauh mana generalisasi dari hasil penelitian kausal untuk pengaturan lainnya, orang, atau peristiwa, dan validitas internal mengacu pada tingkat kepercayaan kami dalam efek kausal (yaitu, bahwa variabel X menyebabkan variabel Y).

Percobaan lapangan memiliki validitas eksternal lebih (yaitu, hasilnya lebih digeneralisasikan untuk pengaturan organisasi serupa lainnya), namun validitas internal kurang (yaitu, kita tidak bisa memastikan dari sejauh mana variabel X saja menyebabkan variabel Y). Perhatikan bahwa dalam percobaan laboratorium, sebaliknya adalah benar: validitas internal yang tinggi namun validitas eksternal agak rendah. Dengan kata lain, dalam percobaan laboratorium kita dapat yakin bahwa variabel X menyebabkan variabel Y karena kita telah mampu menjaga variabel eksogen pengganggu lainnya di bawah kontrol, tapi kami telah dikontrol begitu erat beberapa variabel untuk membangun hubungan sebab-akibat yang kita tidak tahu sampai sejauh mana hasil penelitian kami dapat digeneralisir, jika sama sekali, untuk pengaturan lapangan. Dengan kata lain, karena pengaturan laboratorium tidak mencerminkan "realisme dunia" pengaturan, kita tidak tahu sampai sejauh mana temuan laboratorium secara sah mewakili realitas di dunia luar.

PERTUKARAN ANTARA INTERNAL DAN EKSTERNAL VALIDITASJadi ada pertukaran antara validitas internal dan validitas eksternal. Jika kita ingin validitas internal yang tinggi, kita harus bersedia menerima validitas eksternal rendah dan sebaliknya. Untuk memastikan kedua jenis validitas, peneliti biasanya mencoba pertama yang menguji hubungan kausal dalam buatan atau laboratorium pengaturan dikontrol ketat, dan sekali hubungan telah dibentuk, mereka mencoba untuk menguji hubungan kausal dalam percobaan lapangan. Desain eksperimen laboratorium di bidang manajemen sejauh ini telah dilakukan untuk menilai, antara lain, perbedaan gender dalam gaya kepemimpinan dan bakat manajerial. Namun, perbedaan gender dan faktor lain yang ditemukan dalam pengaturan laboratorium sering tidak ditemukan dalam studi lapangan (Osborn & Vicars, 1976). Masalah-masalah ini validitas eksternal biasanya membatasi penggunaan percobaan laboratorium di bidang manajemen. Percobaan lapangan juga jarang dilakukan karena konsekuensi yang tidak diinginkan yang dihasilkan - personil menjadi curiga, persaingan dan kecemburuan yang dibuat antar departemen, dan sejenisnya.

FAKTOR YANG MEMPENGARUHI VALIDITAS EKSPERIMENBahkan studi laboratorium yang dirancang terbaik dapat dipengaruhi oleh faktor-faktor yang dapat mempengaruhi validitas internal percobaan laboratorium. Artinya, beberapa faktor pembaur mungkin masih hadir yang bisa menawarkan penjelasan saingan seperti apa yang menyebabkan variabel dependen. Faktor-faktor pembaur yang mungkin menimbulkan ancaman bagi validitas internal. Tujuh ancaman utama terhadap validitas internal adalah efek dari sejarah, pematangan, (utama) pengujian, seleksi, kematian, regresi statistik, dan instrumentasi, dan ini dijelaskan di bawah dengan contoh-contoh. Dua ancaman terhadap validitas eksternal (interaktif) pengujian dan seleksi. Ancaman ini untuk validitas eksperimen dibahas selanjutnya.

efek SejarahPeristiwa tertentu atau faktor-faktor yang berdampak pada hubungan variabel variabel tergantung independent mungkin tiba-tiba terjadi saat percobaan berlangsung, dan sejarah ini kejadian akan mengacaukan hubungan efek sebab-antara dua variabel, sehingga mempengaruhi validitas internal . Sebagai contoh, mari kita mengatakan bahwa manajer Divisi Produk Susu ingin menguji efek dari "beli satu, gratis satu" promosi penjualan pada penjualan merek milik perusahaan keju dikemas selama seminggu. Dia dengan hati-hati mencatat penjualan keju paket berusia selama dua minggu sebelumnya untuk menilai efek dari promosi. Namun, pada hari yang promosi penjualan nya mulai berlaku, Asosiasi Petani Susu tiba-tiba meluncurkan iklan multimedia tentang manfaat mengkonsumsi produk susu, terutama keju. Penjualan semua produk susu, termasuk keju, naik di semua toko, termasuk satu di mana percobaan telah berlangsung. Di sini, karena iklan yang tak terduga, seseorang tidak bisa memastikan berapa banyak peningkatan dalam penjualan keju dikemas dalam

Time: t1t2t3Independent variableDependent variable

ilustrasi efek sejarah dalam desain eksperimental

pertanyaan ini disebabkan oleh promosi penjualan dan berapa banyak iklan oleh Asosiasi Sapi Perah '! Efek sejarah telah mengurangi validitas internal atau iman yang dapat ditempatkan pada kesimpulan bahwa promosi penjualan menyebabkan peningkatan penjualan. Efek sejarah dalam hal ini diilustrasikan dalam Gambar 10.1.Untuk memberikan contoh lain, katakanlah toko roti yang mempelajari efek menambah roti yang topi bahan baru ini diharapkan dapat memperkaya dan menawarkan nilai lebih gizi untuk anak di bawah usia 14 tahun dalam waktu 30 hari, tergantung pada asupan harian tertentu . Pada awal percobaan roti mengambil ukuran kesehatan 30 anak melalui beberapa tolok ukur kesehatan. Setelah itu, anak-anak diberi asupan ditentukan dari makanan sehari-hari. Sayangnya, pada hari 20 percobaan, virus flu hits kota dalam proporsi epidemi yang mempengaruhi sebagian besar anak-anak yang diteliti. Ini efek yang tak terduga dan tak terkendali sejarah, flu, telah terkontaminasi studi hubungan sebab-akibat untuk toko roti

efek pematangansebab-akibat kesimpulan juga dapat terkontaminasi oleh pengaruh berlalunya waktu - variabel tak terkendali lagi. Efek kontaminasi tersebut dilambangkan efek pematangan. Efek pematangan adalah fungsi dari dia proses - baik biologis dan psikologis - beroperasi dalam responden sebagai hasil dari perjalanan waktu. Contoh proses pematangan termasuk semakin tua, lelah, merasa lapar, dan mulai bosan. Dengan kata lain, mungkin ada efek pematangan pada variabel dependen murni karena berlalunya waktu. Sebagai contoh, mari kita mengatakan bahwa seorang direktur R & D berpendapat bahwa kenaikan efisiensi pekerja akan menghasilkan dalam waktu tiga bulan jika teknologi canggih diperkenalkan dalam lingkungan kerja. Jika, pada akhir tiga bulan, peningkatan efisiensi ini memang ditemukan, akan sulit untuk mengklaim bahwa teknologi canggih (dan sendirian) meningkatkan efisiensi pekerja karena, dengan berlalunya waktu, karyawan akan juga memperoleh pengalaman , sehingga menghasilkan kinerja pekerjaan yang lebih baik dan karena itu peningkatan efisiensi. Dengan demikian, validitas internal juga akan berkurang karena efek pematangan karena sulit untuk menentukan berapa banyak kenaikan tersebut disebabkan oleh pengenalan teknologi ditingkatkan saja. Gambar 10.2 menggambarkan efek pematangan dalam contoh di atas.

efek pengujianSering, untuk menguji efek dari pengobatan, mata pelajaran yang diberikan apa yang disebut pretest. Artinya, pertama ukuran variabel dependen diambil (pretest), maka pengobatan yang diberikan, dan setelah itu ukuran kedua

timet1t2t3Independen variabledependen variableTeknologi ditingkatkanefisiensi meningkat

Mendapatkan pengalama danMelakukan pekerjaan lebih cepatEfek pematanganIlustrasi efek pematangan pada sebuah hubungan sebab akibat

variabel dependen diambil (posttest). Perbedaan antara posttest dan skor pretest kemudian dikaitkan dengan pengobatan. Namun, paparan peserta untuk pretest dapat mempengaruhi validitas internal dan eksternal dari temuan. Memang, proses tersebut dapat menyebabkan dua jenis efek pengujian.Efek pengujian utama terjadi ketika pengamatan sebelumnya (pretest) mempengaruhi pengamatan kemudian (posttest). Efek pengujian utama biasanya terjadi karena peserta ingin konsisten. Mari kita asumsikan bahwa kita telah menguji efek dari iklan televisi (pengobatan) pada sikap terhadap merek menggunakan pretest dan posttest a. Misalkan ada perbedaan yang signifikan dalam sikap terhadap merek itu ditemukan. Temuan ini bisa mengarah pada kesimpulan bahwa iklan itu tidak efektif. Namun, penjelasan alternatif adalah bahwa peserta kami mencoba untuk konsisten dan menjawab pertanyaan-pertanyaan kemudian sehingga jawaban mereka serupa dengan jawaban yang mereka berikan pertama kalinya. Pretest mungkin sehingga mempengaruhi hasil percobaan. Sepanjang jalur tersebut, efek pengujian utama adalah ancaman lain terhadap validitas internal.Efek pengujian interaktif terjadi ketika pretest mempengaruhi peserta reaksi terhadap pengobatan (variabel independen). Sekali lagi, mari kita asumsikan bahwa kita menguji pengaruh iklan televisi pada sikap terhadap merek menggunakan pretest dan posttest a. Ada kemungkinan bahwa karena pretest, para peserta menonton iklan televisi lebih erat dari konsumen yang tidak mengambil bagian dalam percobaan. Untuk alasan ini, efek yang ditemukan belum tentu digeneralisasikan untuk populasi. Oleh karena itu, efek pengobatan interaktif merupakan ancaman bagi validitas eksternal percobaan.Singkatnya, efek pengujian dapat mempengaruhi validitas internal dan eksternal temuan kami. Efek pengujian utama mengancam validitas internal, sedangkan efek pengujian interaktif mengancam validitas eksternal.

Pilihan efek BiasAncaman lain baik validitas internal dan eksternal temuan kami adalah pemilihan peserta. Pertama, kita akan membahas bagaimana seleksi dapat mempengaruhi validitas eksternal temuan kami. Kemudian, kita akan membahas bagaimana seleksi dapat mempengaruhi validitas internal.Dalam pengaturan laboratorium, jenis peserta terpilih untuk percobaan mungkin sangat berbeda dari jenis karyawan yang direkrut oleh organisasi. Sebagai contoh, siswa di universitas mungkin diberikan tugas yang dimanipulasi untuk mempelajari efek pada kinerja mereka. Temuan dari penelitian ini tidak dapat digeneralisasi, namun, untuk dunia kerja yang nyata, di mana karyawan dan sifat pekerjaan keduanya sangat berbeda. Dengan demikian, pemilihan subjek menimbulkan ancaman bagi validitas eksternal.

Ancaman terhadap validitas internal berasal dari seleksi yang tidak tepat atau tak tertandingi mata pelajaran untuk kelompok kontrol eksperimen. Sebagai contoh, jika sebuah eksperimen laboratorium yang dibentuk untuk menilai dampak dari lingkungan kerja pada karyawan sikap terhadap pekerjaan, dan jika salah satu kondisi eksperimental adalah memiliki kelompok mata pelajaran bekerja selama sekitar dua jam di sebuah ruangan dengan agak tidak menyenangkan bau, seorang peneliti etika mungkin mengungkapkan kondisi ini kepada calon subyek, yang mungkin menolak untuk berpartisipasi dalam penelitian ini. Namun, beberapa relawan mungkin terpikat melalui insentif (misalnya, pembayaran sebesar $ 70 untuk dua jam partisipasi dalam penelitian ini). Para relawan jadi dipilih mungkin sangat berbeda dari yang lain (karena mereka mungkin berasal dari lingkungan kekurangan) dan tanggapan mereka terhadap pengobatan mungkin sangat berbeda. Bias seperti dalam pemilihan subyek mungkin mencemari hubungan sebab-akibat dan menimbulkan ancaman bagi validitas internal juga. Oleh karena itu, pendatang baru, relawan, dan lain-lain yang tidak dapat dicocokkan dengan kelompok kontrol menjadi ancaman bagi validitas internal dalam beberapa jenis eksperimen. Untuk alasan ini, pengacakan atau pencocokan kelompok sangat dianjurkan.

efek kematianFaktor lain pengganggu pada hubungan sebab-akibat adalah kematian atau gesekan anggota dalam kelompok eksperimen atau kontrol, atau keduanya, sebagai percobaan berlangsung. Ketika komposisi kelompok berubah dari waktu ke waktu di seluruh kelompok, perbandingan antara kelompok menjadi sulit, karena orang-orang yang putus percobaan dapat mengacaukan hasil. Sekali lagi, kita tidak akan bisa mengatakan berapa banyak efek yang diamati muncul dari pengobatan, dan berapa banyak disebabkan anggota yang putus, karena orang-orang yang tinggal dengan percobaan mungkin bereaksi secara berbeda dari orang-orang yang putus. Mari kita lihat contoh.

ContohSeorang manajer penjualan telah mendengar bersinar laporan tentang tiga program pelatihan yang berbeda yang melatih tenaga penjualan dalam strategi penjualan yang efektif. Ketiganya durasi enam minggu. Manajer ingin tahu mana yang akan menawarkan hasil terbaik bagi perusahaan. Program pertama mengambil trainee harian pada kunjungan lapangan dan menunjukkan efektif dan tidak efektif strategi penjualan melalui pengalaman praktis. Program kedua kelompok dilatih pada strategi yang sama tapi di dalam ruangan di ruang kelas, dengan ceramah, bermain peran, dan menjawab pertanyaan dari para peserta.Program ketiga menggunakan model matematis dan simulasi untuk meningkatkan efektivitas penjualan. Manajer memilih delapan peserta masing-masing untuk tiga program yang berbeda dan mengirim mereka ke pelatihan. Pada akhir minggu keempat, tiga peserta dari kelompok pertama, salah satu dari kelompok kedua, dan dua dari kelompok ketiga putus program pelatihan untuk berbagai alasan, termasuk sakit, urgensi keluarga, masalah transportasi, dan kecelakaan mobil. Gesekan ini dari berbagai kelompok membuat mustahil untuk membandingkan efektivitas berbagai program. Dengan demikian, kematian juga dapat menurunkan validitas internal percobaan.

Efek regresi statistikEfek regresi statistik yang dibawa ketika anggota yang dipilih untuk kelompok eksperimen memiliki skor yang ekstrim terhadap variabel terikat untuk memulai. Misalnya, jika seorang manajer ingin menguji apakah ia dapat meningkatkan "salesmanship" repertoar personil penjualan melalui Dale Carnegie-jenis program, ia tidak memilih orang-orang dengan kemampuan yang sangat rendah atau sangat tinggi untuk percobaan. Hal ini karena kita tahu dari hukum-hukum probabilitas bahwa mereka dengan skor sangat rendah pada variabel (dalam hal ini, kemampuan penjualan saat ini) memiliki probabilitas yang lebih besar menunjukkan peningkatan dan mencetak lebih dekat dengan rata-rata pada posttest setelah terkena

untuk pengobatan. Fenomena skor rendah cenderung untuk skor lebih dekat dengan mean dikenal sebagai "kemunduran menuju mean" (regresi statistik). Demikian juga, orang-orang dengan kemampuan yang sangat tinggi juga memiliki kecenderungan yang lebih besar untuk mundur ke arah rata-rata - mereka akan mencetak lebih rendah pada posttest daripada di pretest. Dengan demikian, mereka yang berada di kedua ujung kontinum terhadap variabel tidak akan "benar-benar" mencerminkan hubungan sebab-akibat. Fenomena regresi statistik demikian ancaman lain terhadap validitas internal.

efek instrumentasiEfek instrumentasi belum satu sumber ancaman terhadap validitas internal. Ini mungkin timbul karena perubahan dalam alat ukur antara pretest dan posttest, dan bukan karena perawatan dampak yang berbeda pada akhir (Cook & Campbell, 1979a). Misalnya, seorang pengamat yang terlibat dalam mengamati pola perilaku tertentu pada responden sebelum pengobatan mungkin mulai berkonsentrasi pada satu set yang berbeda dari perilaku setelah perawatan. Kerangka pengukuran perilaku (dalam arti, alat ukur) kini berubah dan tidak akan mencerminkan perubahan perilaku yang dapat dikaitkan dengan pengobatan. Hal ini juga berlaku dalam kasus instrumen pengukuran fisik seperti neraca pegas atau instrumen halus dikalibrasi lain yang mungkin kehilangan akurasi mereka karena hilangnya ketegangan dengan penggunaan konstan, sehingga pengukuran akhir yang keliru.Dalam organisasi, efek instrumentasi dalam desain eksperimen yang mungkin saat pretest dilakukan dengan eksperimen, perawatan yang diberikan kepada kelompok eksperimen, dan posttest pada langkah-langkah seperti kinerja yang dilakukan oleh manajer yang berbeda. Seorang manajer mungkin mengukur kinerja dengan unit akhir output, manajer kedua mungkin memperhitungkan jumlah menolak juga, dan manajer ketiga mungkin juga mempertimbangkan jumlah sumber daya yang dikeluarkan dalam mendapatkan pekerjaan yang dilakukan! Di sini, setidaknya ada tiga alat ukur yang berbeda, jika kita memperlakukan setiap manajer sebagai alat pengukuran kinerja.Dengan demikian, efek instrumentasi juga menimbulkan ancaman bagi validitas internal dalam desain eksperimental.

IDENTIFIKASI ANCAMAN TERHADAP VALIDITASMari kita periksa masing-masing mungkin tujuh ancaman terhadap validitas dalam konteks skenario berikut.

ContohSeorang konsultan organisasi ingin menunjukkan kepada presiden perusahaan, melalui rancangan percobaan, bahwa gaya kepemimpinan demokratis terbaik meningkatkan moral karyawan. Dia mendirikan tiga kelompok eksperimen dan satu kelompok kontrol untuk tujuan dan anggota ditugaskan untuk masing-masing kelompok secara acak. Ketiga kelompok eksperimen dipimpin oleh pemimpin otokratis, pemimpin yang demokratis, dan pemimpin laissez-faire, masing-masing.Para anggota dalam tiga kelompok eksperimen diberikan pretest. Karena kelompok kontrol tidak terkena pengobatan apapun, mereka tidak diberi pretest. Sebagai percobaan berlangsung, dua anggota dalam kelompok perlakuan demokratis mendapat cukup bersemangat dan mulai bergerak sekitar untuk anggota lain mengatakan bahwa suasana partisipatif adalah "besar" dan "kinerja terikat untuk menjadi tinggi dalam kelompok ini "Dua anggota dari masing-masing kelompok otokratis dan laissez-faire tersisa setelah jam pertama mengatakan mereka harus pergi dan tidak bisa lagi berpartisipasi dalam percobaan. Setelah dua jam kegiatan, posttest yang diberikan kepada semua peserta, termasuk anggota kelompok kontrol, pada baris yang sama seperti pretest.

1. efek Sejarah. Tindakan dari dua anggota dalam kelompok partisipatif dengan cara tiba-tiba bergerak dengan cara yang bersemangat dan berkomentar bahwa kepemimpinan partisipatif adalah "besar" dan "kinerja terikat menjadi tinggi di grup ini" mungkin telah meningkatkan moral semua anggota dalam kelompok. Akan sulit untuk memisahkan berapa banyak peningkatan moral disebabkan kondisi partisipatif saja dan berapa banyak antusiasme tiba-tiba ditampilkan oleh dua anggota.2. Efek Pematangan. Diragukan bahwa pematangan memiliki efek pada moral dalam situasi ini, karena perjalanan waktu, dalam dirinya sendiri, mungkin tidak ada banyak yang harus dilakukan dengan kenaikan atau penurunan moral.3. Efek Testing. Pretest cenderung telah peka responden untuk kedua pengobatan dan posttest. Dengan demikian, efek pengujian utama dan interaktif ada. Namun, jika semua kelompok telah diberikan baik pra dan posttests, efek utama pengujian (tapi tidak efek pengujian interaktif!) Di semua kelompok akan telah diambil dari perawatan (yaitu, dibatalkan) dan posttests dari masing-masing kelompok eksperimen bisa saja dibandingkan dengan kelompok kontrol untuk mendeteksi efek pengobatan. Sayangnya, kelompok kontrol tidak diberi pretest, dan dengan demikian skor posttest kelompok ini tidak bias oleh pretest - sebuah fenomena yang bisa terjadi pada kelompok eksperimen. Oleh karena itu, tidak benar, pada wajah itu, untuk membandingkan skor kelompok eksperimen 'dengan orang-orang dari kelompok kontrol. Pengujian interaktif menimbulkan ancaman bagi validitas eksternal dari temuan.4. Efek Seleksi Bias. Karena anggota secara acak ditugaskan untuk semua kelompok, bias seleksi seharusnya tidak mempengaruhi validitas internal temuan. Validitas eksternal temuan juga harus tidak telah diancam oleh seleksi: tidak ada alasan untuk menganggap bahwa para peserta yang dipilih untuk percobaan yang berbeda dari karyawan lain dari organisasi.5. Efek Kematian. Karena anggota keluar dari dua kelompok eksperimental, efek kematian dapat mempengaruhi validitas internal.6. efek regresi statistik. Meskipun tidak secara khusus menyatakan, kita dapat mengasumsikan bahwa semua anggota yang berpartisipasi dalam percobaan dipilih secara acak dari populasi terdistribusi normal, dalam hal masalah statistik regresi mencemari percobaan tidak muncul.7. Efek Instrumentasi. Karena kuesioner yang sama diukur moral baik sebelum dan sesudah pengobatan untuk semua anggota, ada tidak seharusnya bias instrumentasi.

Akibatnya, tiga dari tujuh ancaman terhadap validitas internal yang berlaku dalam kasus ini. Sejarah, pengujian utama, dan efek kematian menjadi perhatian dan, oleh karena itu, validitas internal yang tidak akan tinggi. Efek pengujian interaktif mengancam validitas eksternal dari temuan.

VALIDITAS INTERNAL DALAM STUDI KASUSJika ada beberapa ancaman terhadap validitas internal bahkan dalam percobaan laboratorium yang dikontrol ketat, itu harus cukup jelas mengapa kita tidak bisa menarik kesimpulan tentang hubungan sebab-akibat dari studi kasus yang menggambarkan peristiwa yang terjadi selama waktu tertentu. Kecuali sebuah studi eksperimental yang dirancang dengan baik, secara acak menugaskan anggota untuk kelompok eksperimen dan kontrol, dan berhasil memanipulasi pengobatan menunjukkan hubungan sebab-akibat yang mungkin, adalah mustahil untuk mengatakan yang faktor penyebab lain. Misalnya, ada beberapa penyebab dikaitkan dengan "Iris," minuman ringan PepsiCo Inc diperkenalkan oleh, tidak lepas landas setelah keberhasilan awal. Di antara alasan yang diberikan adalah: (1) suatu pengurangan dalam iklan untuk iris, (2) yang beroperasi pada premis yang salah bahwa kandungan jus di Iris akan menarik bagi pembeli sadar kesehatan, (3) usaha PepsiCo untuk susu merek terlalu cepat, (4) beberapa kesalahan strategis yang dibuat oleh PepsiCo (5) meremehkan waktu yang dibutuhkan untuk membangun merek, dan sejenisnya. Sementara

semua di atas dapat memberikan dasar untuk mengembangkan kerangka teori untuk menjelaskan varians dalam penjualan produk seperti Iris, kesimpulan tentang hubungan sebab-akibat tidak dapat ditentukan dari peristiwa anekdotal.

REVIEW FAKTOR YANG MEMPENGARUHI INTERNAL DAN EKSTERNAL VALIDITASSedangkan validitas internal menimbulkan pertanyaan tentang apakah itu adalah pengobatan sendiri atau beberapa faktor asing tambahan yang menyebabkan efek, validitas eksternal menimbulkan masalah tentang generalisasi dari temuan ke pengaturan lainnya.Pengujian dan pemilihan efek interaktif dapat membatasi validitas eksternal temuan kami. Ancaman ini untuk validitas eksternal dapat diatasi dengan menciptakan kondisi eksperimental yang sedekat mungkin dengan situasi dimana hasil percobaan ini adalah untuk digeneralisasi.Setidaknya tujuh faktor mencemari ada yang dapat mempengaruhi validitas internal desain eksperimental. Ini adalah efek dari sejarah, pematangan, (utama) pengujian, instrumentasi, seleksi, regresi statistik, dan kematian. Hal ini, bagaimanapun, mungkin untuk mengurangi bias tersebut dengan meningkatkan tingkat kecanggihan desain eksperimental. Padahal beberapa desain yang lebih canggih, dibahas selanjutnya, membantu meningkatkan validitas internal hasil eksperimen, mereka juga menjadi mahal dan memakan waktu.Berbagai jenis desain eksperimental dan sejauh mana validitas internal dan eksternal terpenuhi di setiap dibahas selanjutnya.

JENIS DESAIN EKSPERIMEN DAN KEABSAHANMari kita mempertimbangkan beberapa yang umum digunakan desain eksperimen dan menentukan sejauh mana mereka menjaga terhadap tujuh faktor yang dapat mencemari validitas internal hasil eksperimen. Semakin pendek rentang waktu percobaan, semakin sedikit kemungkinan untuk menghadapi efek sejarah, pematangan, dan kematian. Percobaan berlangsung satu atau dua jam biasanya tidak bertemu dengan banyak masalah ini. Hanya ketika eksperimen yang tersebar di jangka, katakanlah, beberapa bulan, yang kemungkinan menghadapi lebih dari faktor pembaur meningkat.

Desain kuasi-eksperimentalBeberapa studi mengekspos kelompok eksperimental untuk pengobatan dan mengukur dampaknya. Seperti desain eksperimental adalah yang paling lemah dari semua desain, dan tidak mengukur hubungan sebab-akibat yang benar. Hal ini karena tidak ada perbandingan antara kelompok-kelompok, maupun rekaman status variabel dependen seperti itu sebelum pengobatan eksperimental dan bagaimana berubah setelah perawatan. Dengan tidak adanya kontrol tersebut, penelitian ini tidak ada nilai ilmiah dalam menentukan hubungan sebab-akibat. Oleh karena itu, desain seperti ini disebut sebagai desain eksperimen kuasi. Berikut tiga desain adalah desain kuasi-eksperimental.

Desain kelompok eksperimen pretest dan posttestSebuah kelompok eksperimen (tanpa kelompok kontrol) dapat diberikan pretest, terkena pengobatan dan kemudian diberi posttest untuk mengukur efek dari pengobatan. Hal ini dapat digambarkan seperti pada Tabel 10.2, di mana O mengacu pada beberapa proses observasi atau pengukuran, X merupakan paparan dari kelompok untuk pengobatan eksperimental, dan X dan Os di baris diterapkan pada kelompok tertentu yang sama. Di sini, efek dari pengobatan dapat diperoleh

Desain kelompok eksperimen pretest dan posttestGroup Pretest score TreatmentPosttest score

Experimental group Ot XTreatment effect = (02 0,)o2

dUXEDPosttest hanya dengan kelompok eksperimen dan kontrol

Group TreatmentOutcome

Experimental group X Control groupTreatment effect = (O, - 02)0:o2

dengan mengukur perbedaan antara posttest dan pretest (02 - O1). Catatan, bagaimanapun, bahwa efek pengujian mungkin mencemari baik internal (efek pengujian utama) dan eksternal (efek pengujian interaktif) validitas temuan. Jika percobaan diperpanjang selama periode waktu, efek sejarah, kematian, dan pematangan juga dapat mengacaukan hasil.

Posttests hanya dengan kelompok eksperimen dan kontrolBeberapa desain eksperimental ditetapkan dengan eksperimen dan kelompok kontrol, mantan makhluk saja terkena pengobatan dan tidak yang terakhir. Efek dari pengobatan yang dipelajari dengan menilai perbedaan dalam hasil - yaitu, skor posttest kelompok eksperimen dan kontrol. Hal ini diilustrasikan dalam Tabel 10.3 Berikut ini adalah kasus di mana efek pengujian dihindari karena tidak ada pretest, posttest hanya sebuah. Perawatan harus diambil, namun, untuk memastikan bahwa kedua kelompok dicocokkan untuk semua kemungkinan mencemari "gangguan" variabel. Jika tidak, efek sebenarnya dari pengobatan tidak dapat ditentukan hanya dengan melihat perbedaan nilai posttest dari dua kelompok. Pengacakan akan mengurus masalah ini.Kematian (menjatuhkan dari individu-individu dari kelompok) merupakan masalah bagi semua desain eksperimental, termasuk yang satu ini. Hal ini dapat mengacaukan hasil, dan dengan demikian menimbulkan ancaman bagi validitas internal.

Waktu desain seriSebuah desain time series (kadang-kadang disebut waktu desain series terganggu) berbeda dari desain tersebut dalam hal mengumpulkan data pada variabel yang sama secara berkala (misalnya minggu, bulan, atau tahun). Sebuah desain time series sehingga memungkinkan peneliti untuk menilai dampak pengobatan dari waktu ke waktu. Gambar 10.3 visual

o, o2 03 04 05 X o6 o7 o8 o9 o10Time series design

160 T

123456789 WeekPengaruh harga dipotong minggu 4

menggambarkan desain time series. Hal ini menunjukkan bahwa serangkaian pengukuran terhadap variabel terikat diambil sebelum dan setelah pengobatan diberikan (baik oleh peneliti atau alami).Gambar 10.4 menggambarkan hasil dari serangkaian eksperimen waktu pengujian pengaruh penurunan harga (dalam minggu 4) penjualan. Skala horisontal (* sumbu) dibagi menjadi minggu, dan skala vertikal (sumbu y) menunjukkan nilai penjualan (variabel dependen) karena mereka berfluktuasi selama sembilan minggu. Dengan asumsi bahwa faktor-faktor lain, seperti variabel bauran pemasaran lainnya dan bauran pemasaran pesaing, tetap sama, dampak dari pemotongan harga adalah perbedaan dalam penjualan sebelum dan sesudah perubahan. Dari Gambar 10.4 mudah untuk melihat bahwa ada peningkatan penjualan setelah harga produk turun. Pertanyaannya adalah, bagaimanapun, apakah peningkatan penjualan, digambarkan oleh dua garis horizontal pada Gambar 10.4, adalah signifikan. Bayesian bergerak model rata-rata (misalnya, Box & Jenkins, 1970) sering digunakan untuk menguji dampak dari pengobatan terhadap variabel terikat ketika desain time series yang digunakan.Masalah utama time series adalah sejarah: peristiwa tertentu atau faktor-faktor yang berdampak pada hubungan variabel variabel tergantung independent mungkin tiba-tiba terjadi saat percobaan berlangsung. Masalah lain adalah efek pengujian utama dan interaktif, kematian, dan pematangan.

Desain eksperimen sejatiDesain eksperimental yang mencakup perlakuan dan kelompok kontrol dan merekam informasi baik sebelum dan setelah kelompok eksperimen terkena pengobatan dikenal sebagai ex post facto desain eksperimental. Ini dibahas di bawah.

Pretest dan posttest group design eksperimen dan kontrolDesain ini dapat secara visual digambarkan seperti pada Tabel 10.4. Dua kelompok - satu eksperimen dan kontrol lainnya - keduanya terkena pretest dan posttest. Satu-satunya perbedaan antara kedua kelompok adalah bahwa mantan terkena perawatan sedangkan yang terakhir ini tidak. Mengukur perbedaan antara perbedaan pasca dan skor pretest dari kedua kelompok memberi efek bersih pengobatan Kedua kelompok telah terkena kedua

Percobaan pretest and posttest dan kelompok kontrolGroupPretestTreatmentPosttest

Experimental group0,Xo2

Control groupo3o4

Treatment effect [(0,- 0,) - (04 - 03)]

Desain empat kelompok solomon

GroupPretestTreatmentPosttest

1. Experimentalo,X02

2. Controlo,o4

3. ExperimentalXOs

4. Control06

pra-dan posttests, dan kedua kelompok telah diacak; sehingga kita bisa mengharapkan sejarah, pematangan, pengujian utama, dan efek instrumentasi telah dikendalikan. Hal ini agar karena fakta bahwa apa pun yang terjadi dengan kelompok eksperimen (misalnya, pematangan, sejarah, pengujian utama, dan instrumentasi) juga terjadi dengan kelompok kontrol, dan dalam mengukur efek bersih (perbedaan dalam perbedaan antara pra tersebut dan nilai tes post) kita telah dikendalikan faktor mencemari ini. Melalui proses pengacakan, kami juga menguasai efek bias seleksi dan regresi statistik.Kematian bisa, sekali lagi, menimbulkan masalah dalam desain ini. Dalam percobaan yang memakan waktu beberapa minggu, seperti dalam kasus menilai dampak pelatihan pada pengembangan keterampilan, atau mengukur dampak dari kemajuan teknologi pada efektivitas, beberapa mata pelajaran di kelompok eksperimen mungkin drop out sebelum akhir percobaan. Ada kemungkinan bahwa orang-orang yang putus dalam beberapa cara yang berbeda dari orang-orang yang tetap sampai akhir dan mengambil posttest. Jika demikian, angka kematian bisa menawarkan penjelasan saingan yang masuk akal untuk perbedaan antara 02 dan O1. Efek pengujian interaktif juga dapat menyebabkan masalah dalam desain ini; fakta bahwa peserta dalam kelompok eksperimen diminta untuk melakukan pretest bisa membuat mereka lebih sensitif terhadap manipulasi.

Desain empat kelompok solomonUntuk mendapatkan lebih percaya diri dalam validitas internal dalam desain eksperimental, disarankan untuk membentuk dua kelompok eksperimen dan dua kelompok kontrol untuk percobaan. Satu kelompok eksperimen dan satu kelompok kontrol dapat diberikan baik pretest dan posttest, seperti yang ditunjukkan pada Tabel 10.5. Dua kelompok lainnya akan diberikan hanya posttest. Di sini, efek dari pengobatan dapat dihitung dengan beberapa cara yang berbeda, seperti yang ditunjukkan di bawah ini. Sampai-sampai kami datang dengan hasil yang hampir sama di setiap perhitungan yang berbeda, kita dapat atribut efek untuk pengobatan. Hal ini meningkatkan validitas internal hasil desain eksperimental. Desain ini, yang dikenal sebagai Salomo desain empat kelompok, mungkin yang paling komprehensif dan satu dengan sedikitnya jumlah masalah dengan validitas internal.

Desain solomon empat kelompok dan ancaman terhadap validitas The Solomon desain empat kelompok, juga dikenal sebagai empat kelompok desain enam studi, adalah desain eksperimental yang sangat canggih. Desain ini mengontrol semua ancaman terhadap validitas internal, kecuali untuk kematian (yang merupakan masalah bagi semua desain eksperimental) dan juga untuk efek pengujian interaktif. Untuk alasan ini, Solomon desain empat kelompok ini sangat berguna ketika efek pengujian interaktif diharapkan.Pengobatan efek (E) dapat dinilai dengan:E = (O2- O1)E = (02 - 04)E = (05 O6)E = (05 - 03)E = [(02 - O,) - (O4 O3)]Jika semua Es sama, hubungan sebab-akibat yang sangat valid.Untuk dapat menghitung efek dari pengobatan eksperimental, perkiraan pengukuran sebelumnya diperlukan untuk Kelompok 3 dan 4. estimasi terbaik dari ini airnya ditakar dahulu sebanyak rata-rata dari dua pretest; yaitu, (O1 + 03) / 2. Bersama dengan enam pengamatan pra dan posttest, perkiraan airnya ditakar dahulu sebanyak yang kemudian dapat digunakan untuk menghasilkan estimasi dari dampak pengobatan eksperimental (E), efek pengujian interaktif (/), dan efek dari variabel yang tidak terkendali (U). Perkiraan efek ini dibuat dengan membandingkan sebelum dan sesudah tindakan dari empat kelompok.Persamaan berikut memberikan gambaran tentang dampak potensial dari pengobatan eksperimental (E), efek pengujian interaktif (I), dan variabel yang tidak terkendali (U) untuk masing-masing kelompok:Group 1: (02 O,) = E I ~ U Group 2: (04 - Oj) = U Group 3: [05 - 1/2(0, + O,)] = E + U Group 4: [Os - 1/2(0, + CM] = UKita bisa menggunakan persamaan ini untuk memperkirakan efek dari E, I, dan U dengan membandingkan pra-dan posttests kelompok. Sebagai contoh, untuk memperkirakan efek dari stimulus eksperimental (E) hasil Kelompok 3 dan 4 digunakan:[o5 - i(0, + 03)] - [o6 - i