Dari Chatbot Skrip ke Chatbot yang Paham Parafrase

Kalau Anda pernah kesal pada chatbot yang membalas dengan menu bernomor dan seolah tuli terhadap pertanyaan Anda, Anda sedang berhadapan dengan chatbot skrip. Pendekatan itu masih banyak dipakai, dan keterbatasannya bukan soal kurang pintar, melainkan soal cara kerjanya yang memang berbeda.

Chatbot skrip mencocokkan kata, bukan memahami maksud

Bot skrip bekerja dengan aturan yang ditulis manusia: kalau pesan mengandung kata tertentu, balas dengan jawaban tertentu. Selama pelanggan memakai kata yang sudah diantisipasi, hasilnya cepat dan sangat bisa diramalkan. Untuk alur sempit seperti cek status pesanan, ini sering sudah cukup.

Masalahnya muncul begitu pelanggan menulis dengan cara mereka sendiri. Satu maksud yang sama bisa ditulis dalam belasan bentuk, dan setiap bentuk yang tidak terdaftar akan meleset. Menambal dengan menambah kata kunci tidak pernah selesai, karena bahasa manusia tidak habis didaftar.

Pendekatan berbasis makna

Chatbot modern menempuh jalan lain. Alih-alih mencocokkan kata, ia membandingkan makna: pertanyaan pelanggan dan potongan dokumen sama-sama diubah menjadi representasi numerik, lalu yang paling berdekatan maknanya yang diambil.

Efeknya langsung terasa. Pertanyaan yang tidak pernah diantisipasi siapa pun tetap bisa menemukan jawabannya, karena yang dicocokkan adalah maksudnya, bukan susunan hurufnya. Anda juga tidak perlu lagi memelihara daftar kata kunci yang terus membengkak.

Tetapi parafrase masih bisa menjebak

Di sinilah bagian yang jarang diceritakan. Pemahaman makna membuat bot jauh lebih tahan terhadap variasi kalimat, tetapi tidak membuatnya kebal.

Contoh nyata: dua kalimat yang maksudnya identik, kalau pakai messenger bisa dan apakah bot bisa dihubungkan ke Facebook Messenger, bisa berakhir berbeda. Yang satu terjawab benar, yang lain dijawab tidak tersedia, padahal jawabannya jelas ada di dokumen yang sama. Kalimat pertama pendek, tidak baku, dan miskin kata kunci, sehingga pencarian kehilangan pegangan.

Karena itu cara mengujinya ikut berubah

Menguji bot skrip relatif mudah: telusuri semua cabang aturannya. Menguji bot berbasis makna tidak bisa begitu, karena tidak ada daftar cabang untuk ditelusuri. Dua kebiasaan membedakan pengujian serius dari sekadar mencoba-coba:

• Satu maksud diuji dengan beberapa parafrase sekaligus, termasuk versi yang pendek dan tidak baku seperti yang benar-benar diketik pelanggan.
• Pertanyaan yang sama diulang beberapa kali, karena ada kasus labil yang kadang lulus dan kadang gagal. Kasus semacam itu tidak akan pernah muncul dari satu kali percobaan manual, tetapi akan rutin muncul di hadapan pelanggan.

Kesimpulan

Berpindah dari skrip ke pemahaman makna menghilangkan kelas masalah lama: bot tidak lagi buta terhadap kalimat yang tidak terdaftar. Yang muncul sebagai gantinya adalah masalah yang lebih halus dan menuntut cara ukur yang berbeda.

Sumber pertanyaan terbaik untuk pengujian bukan imajinasi tim Anda, melainkan transkrip percakapan sungguhan. Di situlah tersimpan kalimat-kalimat yang tidak akan pernah terpikir untuk Anda tulis sendiri.