PENDETEKSIAN DAN PENCEGAHAN SERANGAN REMOTE

COMMAND EXECUTION PADA HTTP FILE SERVER DENGAN

MENGGUNAKAN SNORT

SKRIPSI

Disusun sebagai salah satu syarat menyelesaikan Jenjang Strata I

Pada Program Studi Informatika Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Oleh:

YUDHI PRASETYOYUDHI PRASETYOYUDHI PRASETYOYUDHI PRASETYO

NIM : L200110028

PROGRAM STUDI INFORMATIKA

FAKULTAS KOMUNIKASI DAN INFORMATIKA

UNIVERSITAS MUHAMMADIYAH SURAKARTA

2015

v

PERSEMBAHAN

Sebagai rasa syukur penulis persembahkan karya ini kepada :

1. Allah SWT yang selalu melimpahkan rahmat dan hidayah bagi hambaNya serta

yang selalu menunjukan jalan yang lurus.

2. Kedua orang tuaku tercinta, Bapak Kastono dan Ibu Selly Waltini yang telah

membimbing saya dari kecil hingga sekarang ini, untuk setiap nasihat dan doa

yang dipanjatkan untuk kesuksesan penulis, serta dukungan moril dan

materiilnya.

3. Kepada kakak saya Sonny Hartono dan Agung Hartanto yang telah memberikan

nasihat, semangat dan motivasi.

4. Kepada Bapak Eka Indarto dan Ibu Irma Indarto yang selalu memberikan

motivasi, nasihat dan pandangan dalam pengerjaan skripsi.

5. Kepada keluarga besar saya yang ada di Solo.

6. Kepada sahabat saya Imam, Fahri, Ikhsan yang selalu memberikan motivasi,

semangat dan keceriaan dalam proses pengerjaan tugas akhir.

7. Kepada Dewi, Dona, Nisa, dan lainnya yang secara tidak langsung telah

memberikan dukungan dan memotivasi saya dalam penulisan tugas akhir.

8. Kepada semua teman - teman saya yang tidak dapat saya sebutkan satu per satu

yang selalu memberikan semangat serta motivasi.

9. Kepada Lenny yang telah bertahan dari awal hingga akhir perkuliahan. Tidak

sampai hati untuk menggantimu dengan laptop lainnya.

10. Almamater

vi

KATA PENGANTAR

Alhamdulillahirabbil’alamin atas segala nikmat iman, Islam, kesempatan, serta

kekuatan yang telah diberikan Allah Subhanahuwata’ala sehingga Penulis dapat

menyelesaikan skripsi ini. Shalawat beriring salam untuk tuntunan dan suri tauladan

Rasulullah Shallallahu‘alaihiwasallam beserta keluarga dan sahabat beliau yang

senantiasa menjunjung tinggi nilai-nilai Islam yang sampai saat ini dapat dinikmati

oleh seluruh manusia di penjuru dunia.

Skripsi ini dibuat sebagai salah satu syarat untuk menyelesaikan jenjang

strata I program studi Informatika Universitas Muhammadiyah Surakarta. Judul

skripsi ini adalah “Pendeteksian dan Pencegahan Serangan Remote Command

Execution Pada HTTP File Server dengan Menggunakan Snort”. Sehingga dalam

kesempatan ini penulis mempersembahkan ucapan terima kasih kepada :

1. Allah Subhanahu Wata’ala yang maha segalanya.

2. Bapak Husni Thamrin, S.T., M.T., Ph.D. selaku Dekan Fakultas Komunikasi

dan Informatika Universitas Muhammadiyah Surakarta.

3. Bapak Dr. Heru Supriyono, M.Sc. selaku ketua Program Studi Informatika

Universitas Muhammadiyah Surakarta.

4. Bapak Fatah Yasin Al Irsyadi, S.T., M.T. selaku Pembimbing Akademik dan

Pembimbing Skripsi yang telah berkenan untuk meluangkan waktu dan

membimbing serta mengarahkan penulis dari awal perkuliahan sampai akhir

perkuliahan sehingga terselesaikannya penyusunan skripsi ini.

viii

ABSTRAK

Perkembangan teknologi komputer semakin memudahkan user untuk berbagi

informasi maupun data. Web application menjadi wadah untuk melakukan kegiatan

sharing data tersebut. Institusi pendidikan serta perusahaan juga ikut ambil bagian

dalam pemanfaatan wadah untuk berbagi informasi tersebut. Kemudahan dalam

melakukan sharing data memancing serangan yang dapat dilakukan berbagai pihak.

Serangan dimaksudkan untuk mendapatkan data yang berharga ataupun hanya

sekedar ingin mengganggu konektivitas yang sedang dilakukan oleh user lainnya.

Penelitian ini akan membahas mengenai bagaimana cara mendeteksi suatu

serangan remote command execution yang dilakukan terhadap media sharing data

Rejetto HTTP File Server dengan menggunakan sistem pendeteksi serangan berupa

snort dan dilakukan pencegahan dengan membangun rule firewall aktif. Rule snort

akan mengidentifikasi setiap data yang masuk dan menentukan apakah data tersebut

merupakan bagian dari serangan remote command execution atau bukan.

Hasil dari penelitian ini adalah sistem keamanan jaringan komputer yang

mampu mendeteksi terjadinya serangan remote command execution yang menyerang

Rejetto HTTP File Server dan di kolaborasikan dengan konfigurasi firewall secara

manual yang digunakan sebagai tindakan pencegahan agar serangan tersebut tidak

terjadi kembali.

Kata kunci : Sharing Data, Web Application, HTTP File Server, Remote Command Execution.

ix

DAFTAR ISI

HALAMAN JUDUL ................................................................................. i

LEMBAR PERSETUJUAN ..................................................................... ii

LEMBAR PENGESAHAN ...................................................................... iii

DAFTAR KONTRIBUSI ......................................................................... iv

PERSEMBAHAN ...................................................................................... v

KATA PENGANTAR ............................................................................... vi

ABSTRAK ................................................................................................. viii

DAFTAR ISI .............................................................................................. ix

DAFTAR GAMBAR ................................................................................. xii

DAFTAR TABEL ..................................................................................... xiv

BAB I PENDAHULUAN ................................................................... 1

1.1 Latar Belakang Masalah ............................................. 1

1.2 Rumusan Masalah ...................................................... 4

1.3 Batasan Masalah ........................................................ 4

1.4 Tujuan Penelitian ....................................................... 5

1.5 Manfaat Penelitian .................................................... 5

1.6 Sistematika Penulisan ................................................ 6

BAB II TINJAUAN PUSTAKA ......................................................... 8

2.1 Telaah Pustaka ........................................................... 8

2.2 Landasan Teori ........................................................... 11

2.2.1 Jaringan Komputer ..................................................... 11

x

2.2.2 Intrusion Detection System ........................................ 14

2.2.3 Snort ........................................................................... 17

2.2.4 Metasploit................................................................... 22

2.2.5 Rejetto HTTP File Server .......................................... 23

2.2.6 Firewall ...................................................................... 23

2.2.7 Remote Command Execution .................................... 27

2.2.8 Web Application ........................................................ 27

BAB III METODOLOGI PENELITIAN ..................... ...................... 29

3.1 Alokasi Waktu............................................................ 30

3.2 Perangkat yang Dibutuhkan ....................................... 30

3.2.1 Komputer Server ........................................................ 30

1. Hardware .................................................................... 30

2. Software ..................................................................... 31

3.2.2 Komputer Client ......................................................... 31

1. Hardware .................................................................... 31

2. Software ..................................................................... 31

3.3 Metode Penelitian ...................................................... 32

3.4 Tahapan Penelitian ..................................................... 32

3.5 Perancangan Sistem .................................................. 33

3.5.1 Konfigurasi HTTP File Server ................................... 34

3.5.2 Konfigurasi Metasploit pada client ............................ 35

3.5.3 Konfigurasi IDS Software ......................................... 40

3.5.4 Installasi Kiwi Log Viewer ........................................ 44

3.5.5 Konfigurasi Firewall .................................................. 45

3.6 Pengujian Sistem ........................................................ 52

xi

BAB IV HASIL DAN PEMBAHASAN ............................................. 54

4.1 Hasil Penelitian .......................................................... 54

4.1.1 Tahapan Pendeteksian Serangan ................................ 54

4.1.2 Tahapan Pencegahan Serangan .................................. 66

4.2 Pembahasan ................................................................ 67

BAB V PENUTUP .................................................................................. 70

5.1 Kesimpulan ............................................................... 70

5.2 Saran .......................................................................... 71

DAFTAR PUSTAKA ................................................................................ 72

PROFIL PENULIS ................................................................................... 73

xii

DAFTAR GAMBAR

1.1 Presentase Pengguna Internet ..................................... 1

2.1 Cara Kerja Firewall .................................................... 24

3.1 Tampilan HFS ketika dijalankan ............................... 34

3.2 HFS yang diakses Melalui Web Browser .................. 35

3.3 Tampilan awal metasploit .......................................... 36

3.4 Pencarian HFS pada metasploit ................................. 36

3.5 Menentukan obyek penyerangan ............................... 37

3.6 Tampilan set rhost dan set rport ................................. 37

3.7 Setting pada metasploit .............................................. 38

3.8 Metasploit melakukan serangan terhadap target ........ 38

3.9 Alur serangan metasploit ........................................... 39

3.10 Tampilan interface network yang terbaca oleh snort . 42

3.11 Tampilan Snort telah siap digunakan ......................... 43

3.12 Tampilan interface kiwi log viewer ........................... 45

3.13 Tampilan konfigurasi firewall .................................... 46

3.14 Tampilan profil firewall ............................................. 47

3.15 Tampilan Aturan Inbound atau Outbound ................. 48

3.16 Tampilan pembuatan New Rule ................................. 48

3.17 Tampilan pemilihan program ..................................... 49

3.18 Protokol dan Port panel ............................................. 49

3.19 Panel scope IP address ............................................... 50

xiii

3.20 Action panel .............................................................. 50

3.21 Profile panel ............................................................... 51

3.22 Nama rule firewall ..................................................... 51

3.23 Tampilan Konfigurasi firewall telah selesai .............. 52

4.1 IP address server (target) ............................................ 56

4.2 IP address client (attacker) ......................................... 56

4.3 Menentukan HFS sebagai objek serangan ................. 57

4.4 Metasploit berhasil masuk ke sistem server ............... 58

4.5 Tampilan shell ............................................................ 58

4.6 Tampilan membuat folder pada sistem ...................... 59

4.7 Skenario penyerangan 1 ............................................. 60

4.8 Skenario Penyerangan 2 ............................................. 60

4.9 Mengubah nama file................................................... 61

4.10 Skenario Penyerangan 3 ............................................. 62

4.11 Tampilan sebelum dan sesudah data di hapus ........... 62

4.12 Skenario Penyerangan 4 ............................................. 63

4.13 Mengambil data dari sistem ....................................... 63

4.14 Skenario Penyerangan 5 ............................................. 64

4.15 Mengganti isi dari data ............................................... 64

4.16 Terdeteksi Serangan dari Attacker ............................. 65

4.17 Rule RCE diaktifkan pada firewall ............................ 66

4.18 Metasploit gagal menyerang target ............................ 67

xiv

DAFTAR TABEL

4.1 Tabel Kelebihan dan Kekurangan dari Firewall ............. 69