Litmus
Menjana soalan ujian daripada pangkalan kod anda sendiri, dan turut melihat cara calon menggunakan AI
Litmus menggunakan pangkalan kod, tiket kerja dan perihalan jawatan syarikat sendiri untuk menjana ujian pengaturcaraan tak segerak secara automatik, menilai bagaimana calon sebenarnya akan bekerja pada tindanan teknologi anda, serta menjejaki proses mereka menggunakan alat AI.
Ciri dan senario penggunaan
Keanehan terbesar temu duga teknikal ialah: anda menguji membalik pokok binari, sedangkan kerja sebenar ialah mengubah satu modul yang tiada siapa faham dalam projek berusia sepuluh tahun. Litmus ingin menyelesaikan jurang ini — menjana soalan yang menepati kerja sebenar terus daripada pangkalan kod, tiket Jira dan perihalan jawatan syarikat. Yang lebih menarik ialah cara pemarkahannya: selain mengesahkan ketepatan menggunakan rangka kerja ujian deterministik dalam kotak pasir, ia turut merekodkan sepenuhnya proses calon — berapa kali fail diubah, rupa sejarah commit, serta keadaan penggunaan alat AI. Item terakhir amat penting pada 2026, kerana masalah kini bukan lagi "adakah anda tahu menggunakan AI", tetapi "bagaimana anda menggunakannya". Selain itu, LLM boleh ditetapkan untuk membuat penilaian kualitatif, melihat pemikiran seni bina dan kualiti keputusan. Dari segi integrasi, ia menyokong ATS seperti Ashby, Greenhouse dan Lever, dengan data calon disegerakkan secara automatik. Pelanggannya termasuk Neo Scholars, Mercor dan Composio. Harga disesuaikan mengikut keperluan pengambilan dan volum, kadar tidak didedahkan.
Sesuai untuk penilaian teknikal pasukan perisian pelbagai peringkat, terutamanya syarikat baharu dan peringkat pertumbuhan; syarikat yang pangkalan kodnya terlalu berselerak atau melibatkan kerahsiaan perlu menilai kebolehlaksanaan dahulu.
Ciri utama
- Menjana soalan ujian secara automatik daripada pangkalan kod, tiket kerja dan perihalan jawatan syarikat
- Menjejaki proses calon: lelaran fail, sejarah commit, penggunaan alat AI
- Pemarkahan masa nyata dalam kotak pasir, ujian deterministik mengesahkan ketepatan
- LLM boleh ditetapkan untuk penilaian kualitatif seni bina dan keputusan
- Integrasi ATS seperti Ashby, Greenhouse, Lever
Kegunaan biasa
- Penilaian teknikal tak segerak pada peringkat saringan awal
- Menggantikan soalan papan putih dengan tugas pangkalan kod sebenar
- Menilai keupayaan sebenar calon pada tindanan teknologi tertentu
- Memerhati bagaimana calon menggunakan alat AI menyelesaikan soalan
- Menyeragamkan penilaian teknikal pelbagai jawatan
Ciri Utama
- Menjana soalan ujian secara automatik daripada pangkalan kod, tiket kerja dan perihalan jawatan syarikat
- Menjejaki proses calon: lelaran fail, sejarah commit, penggunaan alat AI
- Pemarkahan masa nyata dalam kotak pasir, ujian deterministik mengesahkan ketepatan
- LLM boleh ditetapkan untuk penilaian kualitatif seni bina dan keputusan
- Integrasi ATS seperti Ashby, Greenhouse, Lever
Kelebihan
- Soalan hampir dengan kerja sebenar, kualiti isyarat jauh lebih tinggi berbanding soalan algoritma berformat
- Menjejaki cara penggunaan AI, menepati corak kerja pembangun kontemporari
- Dijalankan secara tak segerak, tidak menggunakan masa segerak penemu duga dan calon
- Integrasi ATS arus perdana, aliran kerja tidak perlu memindah data tambahan
Kekurangan
- Perlu menyediakan akses pangkalan kod, ada kebimbangan bagi projek yang melibatkan kerahsiaan
- Harga tidak didedahkan, perlu dirundingkan
- Menjejaki penggunaan AI mungkin menimbulkan kebimbangan privasi calon
- Kualiti soalan sangat bergantung pada kebolehbacaan pangkalan kod syarikat itu sendiri
Kes Penggunaan
- Penilaian teknikal tak segerak pada peringkat saringan awal
- Menggantikan soalan papan putih dengan tugas pangkalan kod sebenar
- Menilai keupayaan sebenar calon pada tindanan teknologi tertentu
- Memerhati bagaimana calon menggunakan alat AI menyelesaikan soalan
- Menyeragamkan penilaian teknikal pelbagai jawatan
Nota Editor
"Adakah tahu menggunakan AI" pada 2026 sudah bukan masalah lagi, "bagaimana menggunakannya" barulah masalahnya. Saya pernah melihat calon menggunakan AI menyerahkan jawapan dalam tiga puluh saat yang boleh berjalan tetapi langsung tidak boleh diselenggara, dan juga melihat orang menggunakan AI untuk memahami pangkalan kod asing dengan pantas kemudian menulis penyelesaian yang bersih sendiri — jurang antara dua jenis orang ini langsung tidak dapat dilihat dalam temu duga tradisional. Litmus merekodkan prosesnya, dan arah ini saya rasa sangat betul. Prasyaratnya: beritahu orang dahulu bahawa anda sedang merekod.
Soalan Lazim
Adakah selamat menyerahkan pangkalan kod kepada pihak ketiga?
Ini masalah yang mesti diselesaikan sebelum pelaksanaan. Cara yang wajar ialah hanya menyediakan subset yang telah dinyahkenal pasti, atau pangkalan kod simulasi yang dibina khusus, dan bukannya keseluruhan kod pengeluaran. Dalam kontrak juga perlu dinyatakan dengan jelas tujuan penggunaan data, tempoh penyimpanan dan sama ada digunakan untuk latihan model. Projek yang melibatkan data pelanggan lebih perlu berhati-hati.
Menjejaki bagaimana calon menggunakan AI, adakah ini adil?
Saya berpendapat prasyarat keadilan ialah "pemberitahuan yang jelas terlebih dahulu". Pembangun kini memang akan menggunakan AI, dan berpura-pura tidak sebaliknya memesongkan keadaan. Perkara pentingnya ialah menjelaskan lebih awal: penggunaan AI dibenarkan, dan prosesnya akan direkod dan dinilai. Memantau secara diam-diam pula perkara lain, itu akan menimbulkan masalah undang-undang dan kepercayaan.
Adakah syarikat Malaysia sesuai menggunakannya?
Konsepnya sesuai, tetapi perhatikan dua perkara: pertama, Akta Perlindungan Data Peribadi (PDPA) Malaysia mempunyai peraturan tentang data yang dikumpul semasa proses pengambilan pekerja, jadi merekod tingkah laku perlu dimaklumkan dan mendapat persetujuan terlebih dahulu; kedua, kualiti penjanaan soalan automatik bergantung pada komen dan struktur pangkalan kod, dan banyak projek lama syarikat Malaysia mungkin tidak dapat menjana soalan yang baik.
Alat AI Berkaitan
Claude
Pembantu AI daripada Anthropic yang mahir dalam teks panjang dan perbualan selamat.
bitdrift
Kebolehcerapan masa nyata untuk aplikasi mudah alih, log disimpan dahulu pada peranti dan hanya diambil apabila perlu
Supermemory
Lapisan memori untuk ejen AI, menyimpan pilihan dan pengetahuan pengguna sebagai graf yang boleh dicari
Aloud
Bercakap ke skrin, lalu maklum balas disusun menjadi tugasan yang difahami coding agent
MeetStream AI
API bersatu untuk bot mesyuarat, satu antara muka menghubungkan rakaman, analisis dan tulis balik CRM
Nuphos
Ruang kerja DevOps asli AI, agen mengambil alih operasi tetapi lalai baca-sahaja