12 Jul 2006
Pada artikel sebelumnya, kita telah membahas tentang penggunaan unit test dan integration test sederhana menggunakan DBUnit. Pada artikel kali ini, kita akan membahas tentang coverage testing
Sebagai technical leader, project manager -atau apapun nama jabatannya- yang bertugas mengawasi segerombolan programmer, bagaimana cara kita memastikan bahwa mereka membuat unit test untuk setiap kode yang ditulis?
Cara manual tentu saja dengan memeriksa unit test satu-persatu dan membandingkannya dengan kode program aplikasi. Kita cocokkan tiap unit test dengan pasangan kode yang ditest. Dengan demikian, kita tahu mana kode yang sudah ditest mana yang belum.
Sayangnya, cara ini tidak otomatis. Sehingga kalau nanti dihadapkan pada deadline ketat, dipastikan kegiatan ini akan segera diabaikan. Oleh karena itu kita harus mengotomasi pemeriksaan test ini sehingga di tengah tekanan jadwal, kita tetap bisa memastikan unit test dibuat dengan benar.
Ada beberapa tools yang beredar di pasaran untuk mengotomasi pemeriksaan ini, diantaranya:
Semua tools di atas melakukan ‘coverage testing’, yaitu pengetesan apakah unit test yang dibuat telah meng-cover semua kode yang ditest. Jika unit testnya terlalu sedikit, maka coverage testing akan failed.
Pada contoh kali ini, kita akan menggunakan Cobertura. Cobertura mampu memeriksa coverage terhadap baris kode dan percabangan. Jadi kalau ada percabangan (if-else, switch) yang belum ditest, cobertura akan melaporkan. Kalau ada baris kode yang belum terjangkau unit test, cobertura juga akan memperingatkan.
Sebagai supervisor, kita dapat menetapkan aturan pada project. Misalnya, “Untuk project ini, saya ingin test meng-cover minimal 70% dari seluruh baris dan 90% dari seluruh percabangan”.
Bagaimana cara Cobertura melakukan keajaiban ini? Jawabannya, melalui mekanisme yang disebut code instrumentation.
Cobertura akan memodifikasi bytecode (*.class) yang dihasilkan oleh proses kompilasi. Bytecode yang dihasilkan javac akan ditambah dengan kode-kode khusus untuk menghitung dan mendeteksi invokasi. Dengan demikian, pada saat unit test dijalankan, Cobertura akan mengetahui unit test yang mana menjalankan kode program yang mana. Bytecode yang akan diproses oleh Cobertura harus dikompile dengan flag -debug.
Dengan demikian, untuk menjalankan Cobertura, kita membutuhkan dua kali tahap kompilasi. Kompilasi pertama mengubah *.java menjadi *.class. Kompilasi kedua menambahkan instrumen di *.class.
Berikut adalah Ant target untuk melakukan instrumentasi.
<target name="instrument-cobertura" depends="compile-cobertura">
<!--
Instrument the application classes, writing the
instrumented classes into ${build.instrumented.dir}.
-->
<cobertura-instrument todir="${compile.cobertura}">
<includeClasses regex=".*" />
<excludeClasses regex=".*\Test.*" />
<instrumentationClasspath>
<pathelement location="${compile.debug}" />
</instrumentationClasspath>
</cobertura-instrument>
</target>
Selanjutnya, kita menjalankan unit test seperti biasa (melalui Ant target). Bedanya adalah, kita menggunakan hasil kompilasi Cobertura. Ant target untuk menjalankan unit test adalah sebagai berikut:
<target name="unit-test" depends="instrument-cobertura">
<junit haltonfailure="false" fork="yes">
<classpath location="${compile.cobertura}"/>
<classpath refid="cobertura-classpath"/>
<formatter type="xml"/>
<batchtest todir="${junit.result}">
<fileset dir="${compile.debug}" includes="**/*Test.class"/>
</batchtest>
</junit>
</target>
Perhatikan referensi ke ${compile.cobertura} yang diletakkan di atas referensi cobertura-classpath. Ini mengisyaratkan bahwa class hasil instrumentasi Cobertura diload lebih dulu daripada class yang dikompilasi secara normal.
Terakhir, kita buat Ant target untuk memeriksa coverage dan menghasilkan HTML report.
<target name="coverage-test" depends="unit-test">
<cobertura-check datafile="cobertura.ser"
branchrate="70"
linerate="90"
haltonfailure="false"
/>
<cobertura-report datafile="cobertura.ser"
srcdir="src" destdir="${cobertura.result}"
/>
</target>
Perhatikan nilai batas baris (linerate) dan percabangan (branchrate) yang harus ditest. Nilainya sudah disesuaikan dengan aturan yang kita tetapkan di atas, yaitu sebesar 70% dan 90%.
Misalnya kita memiliki class DayCounter.java sebagai berikut:
public class DayCounter {
public int numDays(int month, int year){
switch (month) {
case 1:
case 3:
case 5:
case 7:
case 8:
case 10:
case 12: return 31;
case 4:
case 6:
case 9:
case 11: return 30;
case 2:
if (year%4 == 0) {
return 29;
} else {
return 28;
}
default: return 0;
}
}
}
Dan unit testnya DayCounterTest.java sebagai berikut:
package tutorial.testframework;
import junit.framework.TestCase;
public class DayCounterTest extends TestCase {
public void testNumDays() {
DayCounter d = new DayCounter();
assertEquals(31, d.numDays(12,2001));
assertEquals(30, d.numDays(11,2001));
assertEquals(28, d.numDays(2,2001));
assertEquals(29, d.numDays(2,2000));
assertEquals(0, d.numDays(21,2000));
}
}
Akan menghasilkan coverage yang bagus, karena semua baris sudah ditest. Berikut adalah hasil coverage testnya:
Kita juga bisa melihat coverage detail dari class DayCounter.java:
Bila kita non-aktifkan beberapa test, seperti ini:
package tutorial.testframework;
import junit.framework.TestCase;
public class DayCounterTest extends TestCase {
public void testNumDays() {
DayCounter d = new DayCounter();
assertEquals(31, d.numDays(12,2001));
assertEquals(30, d.numDays(11,2001));
//assertEquals(28, d.numDays(2,2001));
//assertEquals(29, d.numDays(2,2000));
//assertEquals(0, d.numDays(21,2000));
}
}
Maka kode kita tidak akan lolos test, karena hasil coverage totalnya seperti ini:
dan detail classnya seperti ini
Bagaimana?
Mudah dan cepat kan?
Dengan cara ini, kita dapat mendeteksi tingkat kemalasan programmer dalam membuat unit test.
Pada artikel selanjutnya, kita akan membahas tentang code-compliance test. Test ini sering juga disebut code-review.
12 Jul 2006
Tadinya cuma pengen tampilan arsip seperti punyanya mas Andry. Tapi sayangnya dia pakai aplikasi blog lain yang beda dengan saya punya. Jadi solusinya dia kemungkinan besar tidak bisa diimplement di sini.
Tadinya mau coding sendiri, browsing ke situs dokumentasi Wordpress, malah ketemu plugin Extended Live Archives, berikut cara instalasinya.
Setelah sedikit berkutat dengan file CSS, tadaaa…. silahkan lihat sendiri. Kalau anda melihat halaman kosong, tunggu sejenak, tandanya dia sedang loading.
Nanti setelah loading, ada rangkuman arsip canggih berteknologi AJAX.
Cool … :D
Update: Sesuai saran mas Andry, saya coba instal SRG Clean Archives. Hasilnya bisa dilihat di sini.
13 Jun 2006
Sebelum menyerahkan aplikasi ke client, sudahkah Anda melakukan testing?
100% programmer pasti menjawab dengan kompak, “SUDAAAAHHHH !!!”
Nah, kalau begitu, pertanyaannya, apa saja yang sudah ditest?
Jawaban orang biasanya bervariasi, tergantung nilai project, jumlah orang yang tersedia, dan juga tergantung tingkat kegaptekan si programmer terhadap teknologi testing yang tersedia.
Testing minimal yang dilakukan biasanya adalah user testing. Jadi, ada user (atau programmer yang pura-pura jadi user) mencoba menggunakan aplikasi yang (katanya sih) sudah selesai. Biasanya fenomena ini akan berakhir dengan periode bugfix yang lebih lama daripada periode coding itu sendiri.
Jadi, bagaimana tipsnya supaya user testing berjalan dengan lancar, minim bug, kalaupun ada, bisa diselesaikan dalam bilangan hari?
Jawabannya adalah melaksanakan “ruthless testing”. Artinya testing secara kejam. Testing yang berlapis-lapis sehingga kalau ada programmer bandel yang membuat percabangan if terlalu dalam, akan langsung ketahuan.
Bagaimana itu? Kita akan lihat sebentar lagi.
Ada berapa jenis testing? Hmm .. menurut saya ada:
- Unit testing
- Integration testing
- Coverage testing
- Code compliance testing
- User/functional testing
- Performance testing
Semua test ini harus dijalankan tanpa kecuali.
What the !@#$? Banyak sekali? Apakah semua harus dijalankan? Wah, bisa-bisa kerjaan kita cuma ngurusin test doang? Bagaimana ini?
Hmm.. jangan khawatir, semua bisa dijalankan dengan investasi minimal di awal project.
Tips saya adalah:
-
Alokasikan pembuatan test bersama-sama dengan construction. Jangan setelah construction. Jadi, wahai Project Managers, kalau merencanakan construction, tambahkan alokasi waktu untuk membuat test.
-
Semua test harus otomatis dan bisa dijalankan dengan sekali perintah. Di project saya, semua test dijalankan cukup dengan:
ant full-test
Baiklah, mari kita lihat satu persatu secara lebih detail.
Unit Testing
Ini adalah testing di level paling detail dari aplikasi. Artinya, testing di level method/function. Misalnya saya punya kode seperti ini:
public class DayCounter{
/**
* menghitung jumlah hari dalam bulan dan tahun yang diminta.
* Misalnya, bila month = 2 dan year = 2000, method ini akan menghasilkan 29.
* @param month bulan yang akan dihitung
* @param year tahun yang akan dihitung
* @return jumlah hari dalam bulan dan tahun bersangkutan
*/
public int numDays(int month, int year) {
return 29;
}
}
Coba lihat contoh kode di atas? Salah bukan?
Apapun yang kita masukkan, hasilnya pasti 29.
Mari kita buktikan dengan unit test bahwa kode di atas salah.
public class DayCounter extends junit.framework.TestCase{
public void testNumDays() {
DayCounter d = new DayCounter();
assertEquals(31, d.numDays(1,2000));
}
}
Pada waktu dijalankan, unit test tersebut akan menghasilkan tulisan FAILED
Di Java, unit test dapat dilakukan secara otomatis dengan menggunakan JUnit.
Integration Test
Sebagian besar aplikasi yang kita buat akan menggunakan database. Untuk itu, kita perlu mengetes apakah kode program kita dapat berinteraksi dengan database sesuai harapan.
Mirip dengan JUnit, kita membuat unit test yang mengakses database. Misalnya, berikut kode programnya:
public class DatabaseAccess{
/**
* memeriksa username dan password dalam database.
* Method ini akan mencocokkan username dan password yang diberikan
* dan yang terdaftar di database.
* Apabila cocok, akan menghasilkan true, dan apabila tidak cocok akan menghasilkan false.
* @param username
* @param password
* @return true kalau cocok, false kalau tidak cocok
*/
public boolean checkLogin(String username, String password) {
String sql = "SELECT * FROM user WHERE username=? AND password=?"
// dst kode akses database
}
}
Dan ini adalah kode untuk mengetesnya.
public class DatabaseAccess extends junit.framework.TestCase{
public void testCheckLogin() {
DatabaseAccess db = new DatabaseAccess();
// asumsikan ada username endy dan password secret di database
assertTrue(db.checkLogin("endy", "secret"));
// coba dengan user sembarang, harusnya akan menghasilkan false
assertFalse(db.checkLogin("nobody", "gakada"));
}
}
Perhatikan bahwa kedua test di atas mengasumsikan bahwa kita punya database, terisi data endy:secret, dan tidak ada record nobody:gakada di dalam tabel user.
Berarti, setiap dijalankan, kita harus memastikan asumsi di atas terpenuhi.
Lalu, bagaimana cara menjalankannya secara otomatis? Gampang, gunakan DBUnit.
Dengan DBUnit, kita dapat me-reset kondisi database sesuai keinginan setiap kali test akan dijalankan.
Caranya, kita harus buat test data, yaitu satu record berisi data endy:test dalam tabel user. Test data ini disimpan dalam file checkLogin.xml
<dataset>
<user id='1'
username='endy'
password='secret'
/>
</dataset>
Sebelum test dimulai, pastikan database direset. Tambahkan method berikut di kode test:
public class DatabaseAccess extends junit.framework.TestCase{
public void testCheckLogin() {
// reset database
prepareDatabase();
DatabaseAccess db = new DatabaseAccess();
// asumsikan ada username endy dan password secret di database
assertTrue(db.checkLogin("endy", "secret"));
// coba dengan user sembarang, harusnya akan menghasilkan false
assertFalse(db.checkLogin("nobody", "gakada"));
}
private void prepareDatabase(){
DatabaseOperation.CLEAN_INSERT.execute(dbConn, getTestData());
}
private IDataSet getTestData(){
return new FlatXmlDataSet(new FileInputStream("checkLogin.xml"));
}
}
Nah, DBUnit akan dengan senang hati me-reset isi database development Anda. Pastikan test tersebut dijalankan di DATABASE DEVELOPMENT, dan bukan DATABASE PRODUCTION.
Sementara cukup sekian. Pada artikel selanjutnya, kita akan bahas tentang:
- Coverage Testing
- Code compliance testing
- User/functional testing
- Performance testing
Dan sesuai janji saya, semua test otomatis dan sekali pencet.
30 May 2006
Berangkat dari membaca blog teman yang mengulas tentang Transport Tycoon Deluxe yang sekarang ada versi open sourcenya, saya jadi teringat koleksi game oldies saya.
Jaman saya SMU dulu, sekitar tahun 1994-1997, game favorit saya dan teman-teman adalah UFO-Enemy Unknown. Game ini berkisah tentang penyerbuan alien ke bumi. Dengan fitur yang cukup variatif, seperti kejar-kejaran pesawat alien, penyerbuan ke markas musuh, mempertahankan markas dari serbuan alien, dan riset teknologi, game ini terasa sangat canggih pada masa itu.
Pada waktu mulai bermain, teknologi pasukan kita sangat minim. Seiring dengan seringnya bertempur, kita mulai mengkoleksi persenjataan alien. Persenjataan ini kemudian diteliti. Setelah penelitian selesai, kita bisa menggunakan senjata tersebut.
Bukan cuma senjata, mayat dan pesawat alien juga diteliti, sehingga kalau kita sudah main cukup lama, semua teknologi alien bisa kita gunakan.
Game yang sudah lama punah ini, tetap bisa dimainkan di masa kini dengan cara download dari abandonia.
Sekuelnya juga ada, yaitu Terror From The Deep dan Apocalypse.
Selain game itu, kami dulu juga suka memainkan The Incredible Machine 2. Ini adalah game puzzle, di mana kita disuruh mengkombinasikan alat-alat yang tersedia untuk memecahkan masalah yang diberikan. Alat-alat yang disediakan bermacam-macam, mulai dari balon zeppelin, anti gravitasi, motor listrik, blender, dan sebagainya.
Sangat bermanfaat untuk mendongkrak kreativitas adik-adik kita di SD.
Untuk memainkan game berbasis DOS ini, kita membutuhkan DOS Emulator. Saya biasa menggunakan DosBox dengan front-end D-Fend.
Dengan dos emulator ini, kita bisa juga menjalankan game yang bahkan lebih tua lagi seperti Digger.
24 May 2006
Setelah sebelumnya kita mengotomasi backup untuk Subversion, baik di Windows maupun di Linux, masih ada sedikit PR yang tersisa.
File backup yang dihasilkan oleh script masih berkeliaran di komputer yang sama dengan repository. Jadi kalau sempat terjadi bencana harddisk jebol, repository beserta backupnya akan musnah tanpa sisa.
Solusi sementaranya adalah dengan cara rajin memindahkan file-file backup secara periodik ke komputer lain, untuk selanjutnya ditulis ke dalam CD/DVD.
Tetapi, kegiatan copy-mengcopy setiap minggu sangat membosankan. Belum lagi kalau ternyata ada assignment mendadak sehingga kegiatan transfer file menjadi terlupakan.
Solusi yang lebih hi-tech adalah dengan mengotomasi proses transfer file. Jadi, file backup yang sudah dihasilkan akan kita transfer secara otomatis ke komputer lain, kalau perlu komputer di negara lain.
Untuk melakukan otomasi ini, kita membutuhkan aplikasi WinSCP. Ini adalah aplikasi untuk mentransfer file antara komputer Windows dengan Linux. Sejak menggunakan aplikasi ini, saya tidak pernah lagi menggunakan Windows Sharing dan Samba Server untuk kebutuhan file transfer.
Berikut caranya. Perhatikan bahwa konfigurasi saya adalah sebagai berikut:
-
Repository Server: Windows 2000 Professional dengan WinSCP terinstal
-
Backup Server: Linux OpenSuSE 10.0 dengan SSH server aktif [IP Address: 192.168.0.2]
-
Username di Backup Server: backuponly
-
Password di Backup Server: backuppasswd
-
Folder yang mau dibackup: c:\Backup
-
Folder tujuan: /home/endy/backup
Salah satu keunggulan WinSCP adalah, selain bisa mengelola transfer secara GUI, dia juga memiliki kemampuan scripting, sehingga bisa dipanggil dari command prompt.
Berikut adalah script untuk mengotomasi proses copy folder C:\Backup dari Windows ke /home/endy/backup di Linux. Save sebagai c:\upload-backup.txt
# Modus batch, supaya WinSCP tidak tanya-tanya
option batch on
# Otomatis overwrite file yang sama
option confirm off
# Masukkan username dan password
open backuponly:backuppasswd@192.168.0.2
# Pindah ke folder backup
cd /home/endy/backup
# Upload folder C:\Backup seisinya
put c:/Backup
# Disconnect
close
# Exit WinSCP
exit
Dan berikut adalah bat script untuk mengeksekusi script di atas, save dengan nama c:\backup-scp.bat:
"C:\Program Files\WinSCP3\winscp3.exe" /console /script=upload-backup.txt
Script backup-scp.bat siap dijalankan melalui Windows Scheduler, sebaiknya 10 menit setelah jadwal backup.
