Kenapa Chatbot yang Baik Berani Bilang Tidak Tahu

Mengaku tidak tahu terdengar seperti kegagalan. Untuk chatbot layanan pelanggan, justru sebaliknya: itu salah satu tanda paling jelas bahwa sistemnya bekerja sebagaimana mestinya.

Mengarang itu mudah, menahan diri itu sulit

Model bahasa dilatih untuk menghasilkan kalimat yang masuk akal. Perhatikan bahwa masuk akal tidak sama dengan benar. Ketika sebuah pertanyaan tidak ada jawabannya di bahan yang tersedia, kecenderungan alami model bukanlah diam, melainkan mengisi kekosongan dengan sesuatu yang terdengar meyakinkan.

Inilah yang disebut halusinasi. Bahayanya bukan pada kalimatnya yang ngawur, karena kalimat ngawur mudah ketahuan. Bahayanya justru pada kalimat yang rapi, sopan, dan terdengar berwibawa, tetapi isinya tidak pernah ada di dokumen mana pun.

Jawaban yang berpijak pada sumber

Penawarnya adalah grounding: mengikat jawaban pada potongan dokumen yang benar-benar ditemukan. Model tidak diminta menjawab dari ingatannya, melainkan hanya dari bahan yang disodorkan bersama pertanyaan.

Konsekuensinya penting. Kalau pencarian tidak menemukan bahan yang relevan, jawaban yang benar bukanlah tebakan terbaik, melainkan pengakuan bahwa informasinya tidak tersedia, disertai jalan keluar: hubungi tim, atau lihat halaman ini.

Contoh nyata dari percakapan produksi

Ambil satu kasus yang gampang dibayangkan. Seorang pengunjung bertanya berapa biaya berlangganan per bulan, sementara dokumen yang menjadi sumber bot sama sekali tidak memuat harga. Tidak ada satu pun potongan yang menyebut biaya.

Ada dua kemungkinan jawaban. Bot mengarang angka yang terdengar wajar, atau bot mengaku tidak punya informasi itu dan mengarahkan pengunjung ke manusia. Jawaban pertama menghasilkan percakapan yang terasa memuaskan hari ini dan menjadi keluhan minggu depan. Jawaban kedua terasa kurang mengesankan, tetapi tidak pernah menciptakan janji yang tidak bisa ditepati.

Cara mengukurnya

Karena mengarang tampak meyakinkan, ia tidak bisa dinilai dengan mencoba beberapa pertanyaan lalu merasa hasilnya bagus. Pengujian yang serius memasukkan pertanyaan yang memang tidak ada jawabannya di sumber, lalu memperlakukan jawaban percaya diri terhadap pertanyaan itu sebagai kegagalan, bukan keberhasilan.

Tanpa kasus semacam itu, sebuah bot bisa terlihat sempurna di semua pengujian sambil rutin mengarang di hadapan pelanggan sungguhan.

Kalau bot terlalu sering bilang tidak tahu

Ini keluhan yang wajar, dan penanganannya bukan melonggarkan aturan supaya bot lebih berani menebak. Itu hanya menukar masalah yang terlihat dengan masalah yang tersembunyi.

Yang perlu diperiksa adalah sumbernya. Biasanya jawabannya memang belum tertulis, atau tertulis dengan istilah yang berbeda jauh dari cara pelanggan bertanya. Menambah satu paragraf yang menjawab pertanyaan itu secara langsung hampir selalu lebih efektif daripada menyuruh bot lebih percaya diri.