Ilmu Perpustakaan & Informasi

diskusi dan ulasan ringkas

Posts Tagged ‘Relevansi’

Recall & Precision

Posted by putubuku pada Maret 27, 2008

Salah satu penerapan prinsip relevansi yang sejak dahulu digunakan dalam pengembangan sistem IR adalah penggunaan ukuran recall and precision. Sejak teori tentang IR berkembang di tahun 1940an, para ilmuan selalu memeras otak, bagaimana caranya membuat sistem IR yang benar-benar handal. Bagaimana mengukur keefektifan sebuah sistem IR dalam memenuhi permintaan informasi? Bagaimana mengukur kemampuan sistem dalam menyediakan dokumen yang relevan dengan kebutuhan pemakai? Nah, recall and precision adalah upaya untuk menjawab persoalan itu.

Terjemahan yang pas untuk istilah ini dalam bahasa Indonesia belum ditemukan. Istilah recall digunakan pula dalam psikologi untuk menjelaskan proses mengingat yang dikerjakan otak manusia. Kata lain untuk recall dalam bahasa Inggris adalah remember, recollect, remind. Di bidang IR, recall berkaitan dengan kemampuan menemukan-kembali butir informasi yang sudah tersimpan. Jadi, terjemahan bebasnya mungkin adalah “penemuan-kembali”.

Precision dapat diartikan sebagai kepersisan atau kecocokan (antara permintaan informasi dengan jawaban terhadap permintaan itu). Jika seseorang mencari informasi di sebuah sistem, dan sistem menawarkan beberapa dokumen, maka kepersisan ini sebenarnya juga adalah relevansi. Artinya, seberapa persis atau cocok dokumen tersebut untuk keperluan pencari informasi, bergantung pada seberapa relevan dokumen tersebut bagi si pencari.

Recall adalah proporsi jumlah dokumen yang dapat ditemukan-kembali oleh sebuah proses pencarian di sistem IR. Rumusnya: Jumlah dokumen relevan yang ditemukan / Jumlah semua dokumen relevan di dalam koleksi. Lalu, precision adalah proporsi jumlah dokumen yang ditemukan dan dianggap relevan untuk kebutuhan si pencari informasi. Rumusnya: Jumlah dokumen relevan yang ditemukan / Jumlah semua dokumen yang ditemukan.

Kedua ukuran di atas biasanya diberi nilai dalam bentuk persentase, 1 sampai 100%. Sebuah sistem informasi akan dianggap baik jika tingkat recall maupun precision-nya tinggi. Jika ada seseorang mencari dokumen tentang “Pangeran Diponegoro” pada sebuah sistem, dan jika sistem tersebut memiliki 100 buku tentang Pangeran Diponegoro, maka kinerja terbaik adalah jika sistem tersebut berhasil menemukan 100 dokumen tentang Pangeran Diponegoro.

Kalau sistem tersebut memberikan 100 temuan, dan di temuan tersebut ada 50 dokumen tentang “Pangeran Diponegoro”, maka nilai recall-nya adalah 0,5 (atau 50%) dan nilai precision-nya juga 0,5. Kalau sistem tersebut memberikan 1 dokumen saja, dan dokumen tersebut adalah tentang “Pangeran Diponegoro”, maka recall-nya bernilai 0,01 dan precision-nya bernilai 1. Perhatikan bahwa nilai precision yang tinggi ini sebenarnya terjadi karena sistem memberikan hanya 1 jawaban kepada si pencari informasi. Kalau sistem memberikan 100 dokumen, dan hanya 1 yang relevan, maka nilai recall-nya tetap 0,01 dan precision-nya pun ikut merosot ke 0,01.

Dalam perkembangan teori IR, ukuran dan eksperimen terhadap kinerja sebuah sistem semakin diupayakan untuk mengakomodasi berbagai kemungkinan dalam situasi yang sesungguhnya. Misalnya, Lancaster merumuskan matriks terkenal berikut ini sebagai ukuran recall-precision:

Relevan Tidak Relevan Total
Ditemukan a (hits) b (noise) a + b
Tidak ditemukan c (misses) d (rejected) c + d
Total a+b c+d a+b+c+d

Lalu, berdasarkan tabel tersebut, rumus recall – precision pun menjadi:

Recall = [a/ (a+c)] x 100
Precision = [a/ (a+b)] x 100

Lewat rumus ini kita dapat membayangkan bahwa sebuah sistem harus meningkatkan nilai recall dengan memperbesar nilai a di rumus di atas (atau nilai hits). Nilai a yang besar ini dapat terjadi jika jumlah dokumen yang diberikan oleh sebuah sistem dalam sebuah pencarian juga besar. Semakin besar jumlah dokumen yang diberikan, semakin besar kemungkinan nilai a. Tetapi pada saat yang sama, muncul kemungkinan bahwa nilai b (atau jumlah dokumen yang tidak relevan) juga semakin besar. Ini artinya, nilai precision-nya semakin kecil. Dalam berbagai eksperimen ditemukan kenyataan bahwa nilai recall dan precison ini cenderung berlawanan alias berbanding-terbalik. Jika recall tinggi, besar kemungkinannya precision rendah.

Ukuran recall-precision ini juga sangat bergantung pada apa yang sesungguhnya dimaksud dengan “dokumen yang relevan” itu dan bagaimana memastikan relevan-tidaknya sebuah dokumen. Salah satu kritik terhadap prinsip recall-precision ini menyatakan bahwa ukuran ideal sebuah sistem selama ini terlalu berpihak kepada mesin dan logika yang terlalu ketat. Sangatlah sulit mencapai tingkat recall-precision yang ideal karena keduanya berdasarkan pada ukuran relevansi yang amat lentur dan dinamis. Selain itu, seorang pencari informasi seringkali tidak hanya peduli pada relevansi, melainkan juga pada banyak hal lain, seperti kecepatan proses pencarian, kemudahan dalam mengajukan permintaan informasi, kenyamanan dalam memandang layar komputer, dan sebagainya. Seringkali seorang pencari informasi rela mengorbankan tingkat precision, asalkan sistem yang dipakainya memberikan respon yang cepat.

Hal-hal di luar logika ketat recall-precision inilah yang kemudian membawa berbagai penelitian IR ke ranah-ranah luas psikologi, sosiologi, dan bahkan ergonomi. Sebagai salah satu pilar teknologi utama dalam pengembangan perpustakaan digital, maka teori dan eksperimen IR pun sejak awal sudah menjadi bagian dari berbagai proyek. Dari sisi IR pula terjadi komunikasi yang lebih intensif antara “orang komputer” dan “orang perpustakaan”, sehingga secara sepintas kita dapat melihat bahwa sebenarnya IR lah yang membawa kedua profesi ini bertemu di bidang perpustakaan digital.

Iklan

Posted in Information Retrieval, Teori | Dengan kaitkata: , | 8 Comments »