Mutu Pendidikan dan Kalibrasi Penguji Klinis

• Menjelaskan pentingnya kalibrasi penguji klinis untuk menjaga mutu dan konsistensi penilaian.

BAB 6. DOKUMENTASI MUTU PENDIDIKAN DAN KALIBRASI PENILAI

Variabilitas antar-penguji (inter-rater variability) merupakan ancaman utama terhadap keadilan dan kredibilitas penilaian kompetensi klinis, termasuk pada OSCE dan workplace-based assessment yang telah dibahas pada bab-bab sebelumnya. Tanpa kalibrasi, seorang penguji yang cenderung ketat (hawk) dapat memberikan skor jauh lebih rendah dibandingkan penguji yang cenderung longgar (dove) terhadap performa peserta didik yang sebenarnya setara, menciptakan ketidakadilan sistemik yang dapat memengaruhi kelulusan maupun keputusan akademik penting lainnya. Fenomena ini semakin krusial pada penilaian kompetensi biopsikososial Obginsos, di mana penilaian bersifat lebih subjektif dibandingkan keterampilan teknis murni—misalnya penilaian terhadap 'kepekaan budaya' atau 'nada nondirektif' dalam konseling kasus aborsi berpotensi memiliki interpretasi yang sangat bervariasi antar-penguji tergantung latar belakang nilai personal masing-masing.

Sesi kalibrasi penilai idealnya dilaksanakan sebelum setiap putaran ujian OSCE besar maupun secara berkala (mis. setiap semester) untuk penilai workplace-based assessment. Langkah praktis yang direkomendasikan mencakup beberapa tahap terstruktur.

Pada domain penilaian yang bersifat lebih subjektif seperti kepekaan biopsikososial, disarankan penggunaan rubrik dengan deskriptor perilaku eksplisit pada setiap level skor (behaviorally anchored rating scale) alih-alih skala angka semata. Misalnya, alih-alih hanya mencantumkan skala 1–5 untuk 'komunikasi empatik', rubrik yang baik mencantumkan deskripsi konkret seperti 'skor 4: memberi jeda setelah menyampaikan berita signifikan, menggunakan bahasa nonverbal yang selaras (kontak mata, nada suara), dan mengonfirmasi pemahaman pasien sebelum melanjutkan' sehingga penguji memiliki acuan perilaku yang lebih konkret dan konsisten.

Portofolio pembelajaran merupakan kumpulan bukti terdokumentasi yang menggambarkan perjalanan pengembangan kompetensi peserta didik dari waktu ke waktu, khususnya penting untuk menangkap tingkat does dalam Miller's Pyramid yang sulit diukur melalui ujian titik-waktu tunggal seperti OSCE. Portofolio yang baik bagi peserta didik PPDS Obginsos idealnya memuat komponen-komponen berikut secara terstruktur.

Portofolio idealnya ditelaah secara berkala (mis. setiap semester) oleh pembimbing akademik dalam sesi pertemuan terstruktur, bukan sekadar dikumpulkan sebagai syarat administratif menjelang kelulusan. Telaah berkala ini memungkinkan identifikasi dini terhadap peserta didik yang menunjukkan pola kesulitan berulang pada domain kompetensi tertentu, sehingga intervensi pendidikan dapat dilakukan lebih awal, sejalan dengan filosofi diagnostik Miller's Pyramid yang dibahas pada Bab 1.

Pada tingkat program, hasil agregat kalibrasi penilai dan portofolio peserta didik seharusnya menjadi bagian dari siklus penjaminan mutu berkelanjutan (continuous quality improvement), bukan sekadar arsip individual. Indikator mutu pendidikan klinis yang relevan untuk dipantau program antara lain: tingkat konsistensi skor antar-penguji dari waktu ke waktu (dapat dipantau melalui statistik kesepakatan seperti koefisien kappa), proporsi peserta didik yang mencapai target kompetensi does sesuai jadwal kurikulum, jumlah dan kualitas sesi microteaching yang dilaksanakan setiap semester, serta tingkat kepuasan residen junior terhadap kualitas bimbingan near-peer teaching yang mereka terima.

Dokumentasi menyeluruh atas proses ini—mulai dari blueprint OSCE (Bab 3), kalibrasi penilai, hingga portofolio individual—juga menjadi bukti kepatuhan program terhadap Standar Kompetensi Dokter Spesialis dan Subspesialis Bidang Obstetri dan Ginekologi sebagaimana diatur dalam Keputusan Ketua Konsil Kesehatan Indonesia Nomor HK.01.02/KKI/1318/2026, yang akan diperiksa pada proses akreditasi maupun reakreditasi program pendidikan oleh kolegium dan Konsil Kesehatan Indonesia.

6.1 Mengapa Kalibrasi Penilai Diperlukan

Variabilitas antar-penguji (inter-rater variability) merupakan ancaman utama terhadap keadilan dan kredibilitas penilaian kompetensi klinis, termasuk pada OSCE dan workplace-based assessment yang telah dibahas pada bab-bab sebelumnya. Tanpa kalibrasi, seorang penguji yang cenderung ketat (hawk) dapat memberikan skor jauh lebih rendah dibandingkan penguji yang cenderung longgar (dove) terhadap performa peserta didik yang sebenarnya setara, menciptakan ketidakadilan sistemik yang dapat memengaruhi kelulusan maupun keputusan akademik penting lainnya. Fenomena ini semakin krusial pada penilaian kompetensi biopsikososial Obginsos, di mana penilaian bersifat lebih subjektif dibandingkan keterampilan teknis murni—misalnya penilaian terhadap 'kepekaan budaya' atau 'nada nondirektif' dalam konseling kasus aborsi berpotensi memiliki interpretasi yang sangat bervariasi antar-penguji tergantung latar belakang nilai personal masing-masing.

6.2 Metode Pelaksanaan Sesi Kalibrasi Penilai

Sesi kalibrasi penilai idealnya dilaksanakan sebelum setiap putaran ujian OSCE besar maupun secara berkala (mis. setiap semester) untuk penilai workplace-based assessment. Langkah praktis yang direkomendasikan mencakup beberapa tahap terstruktur.

Tahap Aktivitas Tujuan 1. Sosialisasi Rubrik Seluruh calon penguji mempelajari bersama rubrik penilaian (checklist dan global rating scale) beserta contoh perilaku pada setiap level skor Menyamakan pemahaman kriteria sebelum menilai peserta didik sungguhan 2. Penilaian Video Bersama Seluruh penguji menonton rekaman video contoh performa peserta didik (dari kasus sebelumnya atau simulasi) dan memberi skor secara independen Mengidentifikasi variasi skor antar-penguji secara objektif 3. Diskusi Diskrepansi Fasilitator memandu diskusi ketika terdapat perbedaan skor signifikan, meminta setiap penguji menjelaskan dasar penilaiannya Menyelaraskan interpretasi rubrik dan mengurangi bias personal 4. Konsensus dan Dokumentasi Menyepakati standar interpretasi bersama dan mendokumentasikan hasil kalibrasi sebagai rujukan penguji baru Menjaga konsistensi penilaian antar-siklus ujian dan antar-angkatan penguji

Pada domain penilaian yang bersifat lebih subjektif seperti kepekaan biopsikososial, disarankan penggunaan rubrik dengan deskriptor perilaku eksplisit pada setiap level skor (behaviorally anchored rating scale) alih-alih skala angka semata. Misalnya, alih-alih hanya mencantumkan skala 1–5 untuk 'komunikasi empatik', rubrik yang baik mencantumkan deskripsi konkret seperti 'skor 4: memberi jeda setelah menyampaikan berita signifikan, menggunakan bahasa nonverbal yang selaras (kontak mata, nada suara), dan mengonfirmasi pemahaman pasien sebelum melanjutkan' sehingga penguji memiliki acuan perilaku yang lebih konkret dan konsisten.

6.3 Struktur Portofolio Pembelajaran Peserta Didik

Portofolio pembelajaran merupakan kumpulan bukti terdokumentasi yang menggambarkan perjalanan pengembangan kompetensi peserta didik dari waktu ke waktu, khususnya penting untuk menangkap tingkat does dalam Miller's Pyramid yang sulit diukur melalui ujian titik-waktu tunggal seperti OSCE. Portofolio yang baik bagi peserta didik PPDS Obginsos idealnya memuat komponen-komponen berikut secara terstruktur.

• Log kasus (case log): daftar kasus biopsikososial yang ditangani secara mandiri maupun dengan supervisi, mencakup ringkasan kasus, peran peserta didik, dan pembelajaran yang diperoleh.

• Rekaman workplace-based assessment: hasil mini-CEX, DOPS (Direct Observation of Procedural Skills), dan catatan OMP dari berbagai pelatih sepanjang rotasi.

• Rencana Belajar Individual (ILP) dan catatan tindak lanjutnya, sebagaimana dibahas pada Bab 5, termasuk bukti perbaikan performa dari waktu ke waktu.

• Bukti kegiatan pengajaran sebagai near-peer teacher, termasuk hasil telaah microteaching dan umpan balik dari residen junior yang diajar (Bab 2).

• Refleksi tertulis periodik (reflective journal) mengenai kasus yang menantang secara etik atau emosional, khususnya kasus kekerasan berbasis gender atau kematian perinatal.

• Dokumentasi partisipasi dalam kegiatan penjaminan mutu program, termasuk keikutsertaan dalam sesi kalibrasi penilai.

Portofolio idealnya ditelaah secara berkala (mis. setiap semester) oleh pembimbing akademik dalam sesi pertemuan terstruktur, bukan sekadar dikumpulkan sebagai syarat administratif menjelang kelulusan. Telaah berkala ini memungkinkan identifikasi dini terhadap peserta didik yang menunjukkan pola kesulitan berulang pada domain kompetensi tertentu, sehingga intervensi pendidikan dapat dilakukan lebih awal, sejalan dengan filosofi diagnostik Miller's Pyramid yang dibahas pada Bab 1.

6.4 Integrasi ke dalam Sistem Penjaminan Mutu Program

Pada tingkat program, hasil agregat kalibrasi penilai dan portofolio peserta didik seharusnya menjadi bagian dari siklus penjaminan mutu berkelanjutan (continuous quality improvement), bukan sekadar arsip individual. Indikator mutu pendidikan klinis yang relevan untuk dipantau program antara lain: tingkat konsistensi skor antar-penguji dari waktu ke waktu (dapat dipantau melalui statistik kesepakatan seperti koefisien kappa), proporsi peserta didik yang mencapai target kompetensi does sesuai jadwal kurikulum, jumlah dan kualitas sesi microteaching yang dilaksanakan setiap semester, serta tingkat kepuasan residen junior terhadap kualitas bimbingan near-peer teaching yang mereka terima.

Dokumentasi menyeluruh atas proses ini—mulai dari blueprint OSCE (Bab 3), kalibrasi penilai, hingga portofolio individual—juga menjadi bukti kepatuhan program terhadap Standar Kompetensi Dokter Spesialis dan Subspesialis Bidang Obstetri dan Ginekologi sebagaimana diatur dalam Keputusan Ketua Konsil Kesehatan Indonesia Nomor HK.01.02/KKI/1318/2026, yang akan diperiksa pada proses akreditasi maupun reakreditasi program pendidikan oleh kolegium dan Konsil Kesehatan Indonesia.

VIGNETTE KASUS (ILUSTRATIF, FIKTIF) Pada evaluasi mutu tahunan, tim penjaminan mutu PPDS Obginsos menemukan bahwa satu penguji secara konsisten memberi skor global rating lebih tinggi 15% dibanding rerata penguji lain pada stasiun konseling kekerasan berbasis gender, meski checklist keselamatan yang digunakan identik. Setelah ditelusuri melalui rekaman video kalibrasi, ditemukan bahwa penguji tersebut menginterpretasikan 'nada nondirektif' secara lebih longgar dibanding kolega lainnya. Tim kemudian merevisi rubrik dengan menambahkan deskriptor perilaku eksplisit dan mewajibkan seluruh penguji baru mengikuti sesi kalibrasi video sebelum bertugas pada siklus ujian berikutnya.

POIN KUNCI • Kalibrasi penilai bertujuan mengurangi variabilitas antar-penguji (hawk-dove effect) yang dapat mengancam keadilan penilaian, terutama pada domain biopsikososial yang cenderung lebih subjektif. • Sesi kalibrasi terstruktur meliputi sosialisasi rubrik, penilaian video bersama, diskusi diskrepansi, dan dokumentasi konsensus. • Rubrik dengan deskriptor perilaku eksplisit (behaviorally anchored rating scale) lebih efektif dibanding skala angka semata untuk domain penilaian subjektif. • Portofolio pembelajaran menangkap tingkat does dalam Miller's Pyramid melalui log kasus, workplace-based assessment, ILP, bukti mengajar, dan refleksi tertulis. • Telaah portofolio berkala memungkinkan identifikasi dini kesulitan kompetensi peserta didik untuk intervensi pendidikan yang tepat waktu. • Dokumentasi kalibrasi dan portofolio menjadi bukti kepatuhan program terhadap standar kompetensi nasional dan mendukung proses akreditasi.

• Mengapa kalibrasi antarpenguji penting dilakukan sebelum pelaksanaan OSCE?
• Bagaimana ketidaksesuaian penilaian antarpenguji dapat memengaruhi validitas ujian?

Diskusikan dalam kelompok skenario ketidaksesuaian penilaian antara dua penguji OSCE pada station yang sama, dan susun rekomendasi proses kalibrasi yang tepat.