Kemunculan large language model (LLM) yang mampu memahami requirement, membaca user story, dan langsung menghasilkan test case dalam hitungan detik memicu perdebatan baru di kalangan praktisi QA: apakah AI benar-benar bisa menulis test case lebih baik dibanding manusia? Atau kecepatan yang ditawarkan AI justru mengorbankan kedalaman analisis yang selama ini menjadi kekuatan QA berpengalaman? Artikel ini mengupas perbandingan keduanya secara objektif.
Bagaimana AI Menulis Test Case?
AI generatif modern dapat menghasilkan test case dengan beberapa pendekatan:
- Dari requirement/user story — AI membaca deskripsi fitur dalam bahasa alami dan menerjemahkannya menjadi skenario uji terstruktur (positive case, negative case, edge case).
- Dari kode sumber — AI menganalisis logika program untuk mengidentifikasi kondisi yang perlu diuji, termasuk branch dan edge case yang mungkin terlewat.
- Dari data historis bug — beberapa tools AI mempelajari pola bug sebelumnya untuk menyarankan area yang berisiko tinggi dan perlu diuji lebih intensif.
- Dari spesifikasi API — AI dapat membaca dokumentasi seperti OpenAPI/Swagger dan menghasilkan test case untuk berbagai kombinasi parameter, status code, dan skenario error.
Kecepatan menjadi keunggulan paling mencolok: AI dapat menghasilkan puluhan test case dalam hitungan detik, sesuatu yang mungkin memakan waktu berjam-jam jika dikerjakan manual.
Kekuatan AI dalam Menulis Test Case
1. Cakupan skenario yang lebih luas. AI cenderung tidak “lupa” mempertimbangkan kombinasi input, termasuk kondisi boundary atau edge case yang kadang terlewat oleh manusia karena keterbatasan waktu.
2. Konsistensi format dan struktur. Test case yang dihasilkan AI biasanya mengikuti format yang seragam, memudahkan dokumentasi dan pemeliharaan.
3. Kecepatan pada tugas repetitif. Untuk fitur-fitur dengan pola serupa (misalnya validasi form), AI dapat menghasilkan variasi test case dengan sangat cepat.
4. Tidak terpengaruh bias atau asumsi tim. AI menghasilkan test case murni berdasarkan input yang diberikan, tanpa asumsi tersembunyi yang kadang muncul dari kebiasaan tim internal.
Kelemahan AI dalam Menulis Test Case
1. Tidak memahami konteks bisnis secara mendalam. AI dapat membuat test case yang secara teknis benar tetapi tidak relevan dengan prioritas bisnis atau risiko nyata yang dihadapi perusahaan.
2. Rentan menghasilkan test case yang terlalu generik. Tanpa requirement yang sangat detail, AI cenderung menghasilkan skenario “template” yang mungkin tidak menangkap nuansa spesifik dari fitur tersebut.
3. Kesulitan memahami unstated requirement. QA manusia berpengalaman sering menguji berdasarkan asumsi implisit, seperti “pengguna lanjut usia mungkin kesulitan dengan ukuran font kecil” — sesuatu yang tidak tertulis eksplisit di requirement dan sulit ditangkap AI.
4. Minim insting terhadap “sesuatu yang janggal”. Banyak bug kritis ditemukan bukan dari skenario terstruktur, melainkan dari kecurigaan manusia terhadap perilaku aplikasi yang terasa aneh, sesuatu yang belum bisa ditiru sepenuhnya oleh AI.
5. Berpotensi menghasilkan output yang terdengar meyakinkan namun keliru. LLM dapat menghasilkan test case yang tampak masuk akal padahal tidak sesuai dengan perilaku aplikasi sebenarnya, terutama jika requirement yang diberikan ambigu.
Kekuatan QA Manusia yang Belum Tergantikan
1. Pemahaman mendalam terhadap user persona. QA berpengalaman memahami bagaimana pengguna nyata — dengan berbagai latar belakang, kebiasaan, dan keterbatasan — akan berinteraksi dengan produk.
2. Exploratory testing. Kemampuan menjelajahi aplikasi tanpa skrip kaku, mengikuti intuisi, dan menemukan bug yang tidak terpikirkan sebelumnya, tetap menjadi keunggulan manusia.
3. Penilaian risiko dan prioritas. Manusia dapat menimbang dampak bisnis dari sebuah bug — mana yang kritis dan harus segera diperbaiki, mana yang bisa ditunda — berdasarkan konteks yang lebih luas daripada sekadar spesifikasi teknis.
4. Kolaborasi dengan stakeholder. QA manusia dapat berdiskusi langsung dengan product manager atau developer untuk mengklarifikasi requirement yang ambigu, sesuatu yang belum bisa dilakukan AI secara mandiri.
Studi Kasus Sederhana: Fitur Login
Jika diberi requirement “user dapat login menggunakan email dan password”, AI kemungkinan besar akan menghasilkan test case seperti:
- Login berhasil dengan kredensial valid
- Login gagal dengan password salah
- Login gagal dengan email tidak terdaftar
- Login gagal dengan field kosong
- Validasi format email
Ini adalah cakupan dasar yang solid. Namun, QA manusia berpengalaman mungkin menambahkan pertimbangan seperti:
- Bagaimana perilaku sistem jika user mencoba login berkali-kali dengan password salah (apakah ada mekanisme rate limiting atau account lockout)?
- Apakah ada race condition jika user melakukan submit form login dua kali dengan cepat?
- Bagaimana pengalaman pengguna dengan pembaca layar (screen reader) saat mengisi form ini?
- Apakah pesan error yang ditampilkan bisa dimanfaatkan penyerang untuk mengetahui email mana yang terdaftar (user enumeration)?
Pertimbangan-pertimbangan seperti ini muncul dari pengalaman, pemahaman keamanan, dan empati terhadap pengguna — bukan sekadar logika permutasi input.
Jadi, Siapa yang “Lebih Baik”?
Jawabannya bergantung pada metrik yang digunakan:
- Untuk kecepatan dan cakupan dasar: AI unggul, terutama pada fitur dengan pola berulang atau standar.
- Untuk kedalaman analisis risiko dan konteks bisnis: QA manusia masih lebih unggul.
- Untuk konsistensi dokumentasi: AI lebih konsisten.
- Untuk menemukan bug tak terduga di luar skenario tertulis: manusia dengan exploratory testing masih sulit ditandingi.
Pendekatan yang paling efektif saat ini bukanlah memilih salah satu, melainkan menggunakan AI sebagai starting point — menghasilkan draft test case dasar dengan cepat — kemudian direview dan diperkaya oleh QA manusia dengan wawasan bisnis, keamanan, dan pengalaman pengguna yang lebih dalam.
Kesimpulan
AI memang mampu menulis test case dengan kecepatan dan cakupan dasar yang mengesankan, bahkan dalam beberapa aspek bisa melampaui kecepatan manusia. Namun, “lebih baik” bukan hanya soal kecepatan atau jumlah skenario yang dihasilkan. Kedalaman pemahaman konteks bisnis, insting terhadap anomali, dan empati terhadap pengalaman pengguna nyata tetap menjadi wilayah di mana QA manusia unggul. Masa depan yang paling realistis bukanlah AI menggantikan QA, melainkan AI menjadi asisten yang mempercepat pekerjaan rutin, sementara manusia berfokus pada hal-hal yang membutuhkan penilaian dan kebijaksanaan lebih dalam.