PENGEMBANGAN MOTION CAPTURE SYSTEMUNTUK TRAJECTORY PLANNING

ELVA SUSIANTI

2209204802

Pembimbing:

1. ACHMAD ARIFIN, ST., M. Eng., Ph.D2. Ir. DJOKO PURWANTO, M. Eng., Ph.D.

Bidang Keahlian Teknik Elektronika

Program Pasca Sarjana Teknik Elektro

Institute Teknologi Sepuluh Nopember (ITS) 2012

Outline

• Pendahuluan

• Dasar TeoriLatar Belakang

• Metodologi Penelitian

• Hasil dan Pembahasan

• Penutup

Chapter 12

Pendahuluan

• Latar Belakang

• Perumusan Masalah

• Batasan Masalah

• Maksud dan Tujuan

• Manfaat Penelitian

Chapter 12

Latar Belakang

Bipedal robot trajectory planning ditentukan manual

Motion Capture System yang ada sekarang mahal

Teknologi Motion capture yang low cost untuk

bipedal robot trajectory planning secara online

Rumusan Masalah

Pembuatan trajectory planning untuk kaki menggunakan simulator planar 3 dof

Pembacaan posisi marker untuk semua gerakan kaki berjalan

Penentuan metode pengolahan image menjadi image biner

Prosedur perhitungan posisi sudut hip, knee dan ankle

untuk semua gerakan

Batasan Masalah

Gerakan yang dilakukan tidak untuk gerakan ekstrimketika sudut hip lebih besar dari sembilan puluh derajat

Kecepatan gerakan kaki harus dipertahankan agar marker tetapdideteksi kamera ketika kaki bergerak

•Kecepatan gerakan kaki harus dipertahankan agar marker tetap dideteksi kamera ketika kaki bergerak.•Gerakan yang dilakukan tidak untuk gerakan ekstrim ketika sudut hip lebih besar dari sembilan puluh derajat.

Tujuan Penelitian

Penelitian ini bertujuan untuk menggunakan kamera low cost dalam

metode motion capture system untuk menangkap gerakan kaki manusia

ketika berjalan. Melakukan pengolahan image menjadi image biner untuk

mendapatkan data posisi dan besaran sudut hip, knee dan ankle.

Hasil motion capture system digunakan untuk membuat

trajectory planning robot.

Manfaat PenelitianManfaat penelitian antara lain untukmengembangkan image processing

untuk menghasilkan motion capture system

yang lowcost dengan menggunakan kamerawebcam. Pengembangan dan penyempurnaanlebih lanjut terhadap sistem akan menambahvariasi gerakan dan dapat ditampilkan dalambentuk simulasi 3D.

Lindequist

(Reports from

MSI, 2004 )

Capture image

menggunakan satukamera dan satu objekyang sudah dipasangimarker (Ultra Violet)

Kajian

Pustaka

Huang (IEEE Transactions

On Robotics And

Automation,2001)

Pola berjalan padabiped robot, walking cycle, trajectory hip and foot.

Lindequist dan Huang

Trajectory planning

PENGEMBANGAN

MOTION CAPTURE

SYSTEM UNTUK

HUMANOID ROBOT

TRAJECTORY

PLANNING

Dasar Teori• Body Structure Analysis

Fase gaya berjalan

Stance Phase

• 1. Initial Contact• 2. Foot Flat• 3. Mid Stance• 4. Heel Off

Swing Phase

• 1. Toe off

• 2. Mid-swing

• 3. Initial Contact

Sketsa Gait cycle

Trajectories joint angles pada level

gait

Blok diagram

Chapter 12

Image processing

Kamera

webcam

Kordinatmarker

(x,y)

Sudut hip, knee dan

ankle

Trajectory

Planning

Normalisasi Filtering Threshold

BinerTahap

Persiapan

Marker

• Sensor pasif (kertas merah)• Bentuk Diameter 4cm• Ditempelkan ke kostum putih

6. Toe5. Heel

4. Ankle

3. Knee

2. Hip

1. Body

Spesifikasi peralatan 2

• Kamera webcam portable denganinterface USB

• Tipe chip Color CMOSimage sensor yang bisamenyimpan gambarhingga resolusi 640x480

• Video formatnya 24bit RGB dengan frame rate 320x240 sampai 30 frame/s

Chapter 12

Ruangan

• Ruangan ukuran 4.5m x 3m x 3m (p x l x t)

• Ditutupi kain putih

• Jarak kamera ke model 2.05m

Jalur berjalan

3 m

Kamera Batas berjalan

4.5 m

2 m

Capture Image

Kamera

CaptureImage

Processing

Antar Muka Sistem

a) Image display citra asli yang ditangkap kamera

b) Image display setelah image processing

c) Image display plot stick figure berdasarkan posisi marker

d) Image display tampilan kurvasudut hip

e) Image display tampilan kurvasudut knee

f) Image display tampilan kurvasudut ankle

g) Botton normalisasih) Botton filter gaussiani) Botton filter rata-rataj) Botton image binerk) Menu play file video manual dan

otomatisl) Tampilan koordinat markerm) Menu pilihan tampilan stick

figure, continious atau single model

n) Simpan data sudut, tampilkandan bersihkan grafik

Chapter 12

a

b

c

d

e

f

g h

i

j

l

mn

Normalisasi• r-normalisasi

Filter

• Gaussian Rata-rata

Chapter 12

Threshold

• RGB Image • Binary Image

Penentuan KoordinatStart

Baris = -1

Kolom = 0

Scan baris and determine ymin

Baris = ymin

Kolom = 0

Scan baris and determine ymax

A

A

Baris = ymin,

Tinggi area = ymax – ymin

Kolom = 0

Scan kolom and determine xmin

Kolom = xmin, Tinggi area = ymax

– ymin

Baris = ymin

Scan kolom and determine xmax

x = (xmax - xmin)/2 + xmin

y = (ymax - ymin)/2 + ymin

Stop

Start

Baris = ymax4, lebar area =

lebar_canvas-xmax4, Kolom = xmax4

Scan baris and determine ymin6

Baris = ymax4

Kolom = xmin6

B

B

Scan kolom and determine xmin6

Scan kolom and determine xmax6

x6 = (xmax6 - xmin6)/2 + xmin6

y6 = (ymax6 - ymin6)/2 + ymin6

Stop

Scan baris and determine ymax6

Baris = ymax4

Kolom = xmax4

Baris = ymin6, lebar area =

lebar_canvas-xmax4, Kolom = xmax4

Mathematical skeletal model

• θ1 : hip joint angle

• θ2 : knee joint angle

• θ3 : ankle joint angle

Chapter 12

1

2

Hip

Knee

Ankle

Body

Heel

Toe3

Pengujian bagian image processing

• Pengujian warna merah, orange, kuning dan biru

• Pengujian warna hijau, hitam, orange danmerah

Chapter 12

Kalibrasi sudut

Chapter 12

0

5

10

15

20

25

30

35

1 6 11 16 21 26 31 36

S

u

d

u

t

(

d

e

g)

Jumlah data

Pengujian posisi gerakan dasar

• IC

• FF

• Mid Stance

• HO

Chapter 12

Pengujian posisi gerakan dasar

• TO • Mid Swing

Chapter 12

Sudut gerakan berjalan satu cycle

Chapter 12

Sud

ut (d

eg)

Waktu (s)

Hip

Knee

Ankle

Trajectory Planning

Chapter 12

-20.00

-10.00

0.00

10.00

20.00

30.00

0 200 400 600 800 1000 1200 1400Sud

ut

Hip

(d

eg)

t (ms) -30.00

-20.00

-10.00

0.00

10.00

20.00

30.00

40.00

50.00

60.00

0 200 400 600 800 1000 1200 1400Sud

ut

Kn

ee

(d

eg)

t (ms)

0.0010.0020.0030.0040.0050.0060.0070.0080.0090.00

0 200 400 600 800 1000 1200 1400

Sud

ut

An

kle

(d

eg)

t (ms)

Contoh Simulasi

Chapter 12

Kesimpulan

Marker berbentuk bola agar gerakan lebih mudah ditangkap kamera

Pengembangan motion capture system untuk bipedal

robot trajectory planning dilakukan dengan menggunakankamera low cost

Saran

Tambahan satu atau dua kamera untuk joint movement yang berbeda

TERIMAKASIH