Litmus
Menghasilkan soal ujian dari basis kode Anda sendiri, sekaligus mengamati bagaimana kandidat memakai AI
Litmus memakai basis kode, tiket, dan deskripsi lowongan milik perusahaan sendiri untuk otomatis menghasilkan tes pemrograman asinkron, menilai bagaimana kandidat sebenarnya akan bekerja pada technology stack Anda, dan melacak proses mereka memakai alat AI.
Fitur unggulan dan skenario penggunaan
Hal paling absurd dari wawancara teknis adalah: yang Anda ujikan membalik pohon biner, padahal pekerjaan nyatanya mengubah satu modul yang tak seorang pun paham di proyek sepuluh tahun. Yang ingin diatasi Litmus adalah kesenjangan ini, yaitu langsung menghasilkan soal yang menempel pada pekerjaan nyata dari basis kode perusahaan, tiket Jira, dan deskripsi lowongan. Yang lebih menarik adalah cara penilaiannya: selain memvalidasi kebenaran dengan framework pengujian deterministik di sandbox, ia juga mencatat lengkap proses kandidat, yaitu berapa kali file diubah, seperti apa riwayat commit-nya, dan situasi pemakaian alat AI. Poin terakhir ini sangat penting pada 2026, karena masalahnya kini bukan lagi "apakah Anda bisa memakai AI", melainkan "bagaimana Anda memakainya". Selain itu dapat diatur penilaian kualitatif dengan LLM untuk melihat pola pikir arsitektur dan mutu keputusan. Dari sisi integrasi ia mendukung ATS seperti Ashby, Greenhouse, dan Lever, dengan data kandidat tersinkron otomatis. Kliennya mencakup Neo Scholars, Mercor, dan Composio. Harganya dikustomisasi menurut kebutuhan dan volume rekrutmen, tanpa mempublikasikan tarif.
Cocok untuk penilaian teknis di berbagai tahap tim perangkat lunak, terutama startup dan perusahaan tahap pertumbuhan; perusahaan berbasis kode terlalu berantakan atau bersifat rahasia perlu mengevaluasi kelayakannya dulu.
Fitur utama
- Otomatis menghasilkan soal dari basis kode, tiket, dan deskripsi lowongan perusahaan
- Melacak proses kandidat: iterasi file, riwayat commit, pemakaian alat AI
- Penilaian real-time di sandbox, pengujian deterministik memvalidasi kebenaran
- Dapat mengatur LLM untuk penilaian kualitatif arsitektur dan keputusan
- Integrasi ATS seperti Ashby, Greenhouse, Lever
Kegunaan umum
- Penilaian teknis asinkron pada tahap penyaringan awal
- Mengganti soal papan tulis dengan tugas dari basis kode nyata
- Menilai kemampuan nyata kandidat pada technology stack tertentu
- Mengamati bagaimana kandidat memanfaatkan alat AI untuk memecahkan soal
- Standardisasi penilaian teknis untuk banyak lowongan
Fitur Utama
- Otomatis menghasilkan soal dari basis kode, tiket, dan deskripsi lowongan perusahaan
- Melacak proses kandidat: iterasi file, riwayat commit, pemakaian alat AI
- Penilaian real-time di sandbox, pengujian deterministik memvalidasi kebenaran
- Dapat mengatur LLM untuk penilaian kualitatif arsitektur dan keputusan
- Integrasi ATS seperti Ashby, Greenhouse, Lever
Kelebihan
- Soal menempel pada pekerjaan nyata, kualitas sinyalnya jauh lebih tinggi daripada soal algoritma baku
- Melacak cara pemakaian AI, sesuai pola kerja pengembang masa kini
- Berjalan asinkron, tak menyita waktu sinkron pewawancara dan kandidat
- Terintegrasi dengan ATS utama, alurnya tak perlu memindahkan data secara terpisah
Kekurangan
- Perlu memberikan akses basis kode, ada keraguan untuk proyek rahasia
- Harga tidak dipublikasikan, perlu negosiasi
- Melacak pemakaian AI bisa memicu kekhawatiran privasi kandidat
- Mutu soal sangat bergantung pada keterbacaan basis kode perusahaan itu sendiri
Contoh Penggunaan
- Penilaian teknis asinkron pada tahap penyaringan awal
- Mengganti soal papan tulis dengan tugas dari basis kode nyata
- Menilai kemampuan nyata kandidat pada technology stack tertentu
- Mengamati bagaimana kandidat memanfaatkan alat AI untuk memecahkan soal
- Standardisasi penilaian teknis untuk banyak lowongan
Catatan Editor
"Bisa atau tidak memakai AI" pada 2026 sudah bukan pertanyaan lagi; "bagaimana memakainya" barulah intinya. Saya pernah melihat kandidat memakai AI tiga puluh detik untuk menyerahkan jawaban yang bisa jalan tetapi sama sekali tak bisa dipelihara, dan juga melihat orang memakai AI untuk cepat memahami basis kode asing lalu menulis sendiri solusi yang bersih; selisih dua orang ini sama sekali tak terlihat pada wawancara tradisional. Litmus mencatat prosesnya, dan arah ini menurut saya sangat tepat. Syaratnya: beri tahu dulu orang bahwa Anda merekamnya.
FAQ
Apakah aman memberikan basis kode ke pihak ketiga?
Ini masalah yang wajib diselesaikan sebelum implementasi. Cara yang wajar adalah hanya memberikan subset yang telah dianonimkan, atau basis kode simulasi yang dibuat khusus, bukan seluruh kode produksi. Kontrak juga harus menegaskan tujuan pemakaian data, masa penyimpanan, dan apakah dipakai untuk pelatihan model. Proyek yang menyangkut data pelanggan harus lebih berhati-hati.
Melacak bagaimana kandidat memakai AI, apakah adil?
Menurut saya keadilannya bersyarat pada "pemberitahuan yang jelas di awal". Pengembang masa kini memang memakai AI, dan berpura-pura tidak justru mengaburkan. Yang penting adalah menyampaikan jelas di awal: pemakaian AI diizinkan, dan prosesnya akan dicatat serta dinilai. Memantau diam-diam adalah soal lain, itu akan menimbulkan masalah hukum dan kepercayaan.
Apakah cocok untuk perusahaan di Indonesia?
Konsepnya cocok, tetapi perhatikan dua hal: pertama, UU PDP di Indonesia mengatur data yang dikumpulkan dalam proses rekrutmen, sehingga pencatatan jejak perilaku perlu diberitahukan dan disetujui lebih dulu; kedua, mutu pembangkitan soal otomatis bergantung pada komentar dan struktur basis kode, dan banyak proyek lama perusahaan Indonesia mungkin tak bisa menghasilkan soal yang baik.
