Lab Maya

Informatika SMA - Kecerdasan Buatan

Membedah Cara Kerja Machine Learning (MediaPipe Hands)

0%
🧠

Lab Maya

Pengenalan AI (Computer Vision)

🏠 LabMaya.id

PARAMETER MODEL AI

Ubah parameter hiper (hyperparameters) di bawah ini untuk melihat bagaimana kecerdasan buatan dalam mengambil keputusan terpengaruh secara langsung.

0.5 (50%)
Batas minimal keyakinan (Confidence) model Palm Detector agar suatu objek di layar diakui sebagai "Tangan".
Stage 1: Palm Box (BBox)
Tampilkan Bounding Box hasil Palm Detector
Stage 2: 21 Landmarks
Tampilkan estimasi 3D keypoints (Kerangka)
👁️

INISIALISASI MEDIA PIPE

Model Machine Learning memerlukan masukan visual untuk memulai deteksi. Izinkan akses kamera.

DATA STREAM (JSON)

✋
Palm Detector
Menunggu objek...
ARRAY LANDMARKS (X, Y, Z)
// Menunggu array data dari model... // Format data berupa koordinat relatif (0.0 - 1.0)

Catatan ML: Data Z adalah kedalaman relatif terhadap pangkal tangan (wrist). Semakin kecil nilainya, semakin dekat titik tersebut ke kamera.

Teori Kecerdasan Buatan (ML)

Membedah arsitektur MediaPipe Hands buatan Google.

1Apa itu Computer Vision?

Computer Vision adalah cabang dari Kecerdasan Buatan (AI) yang melatih komputer untuk menafsirkan dan memahami dunia visual. Menggunakan gambar digital dari kamera dan video, serta model *deep learning*, mesin dapat secara akurat mengidentifikasi, mengklasifikasikan objek, dan kemudian bereaksi terhadap apa yang "dilihatnya".

2Arsitektur 2-Tahap (Pipeline)

Mendeteksi tangan yang bebas bergerak sangatlah rumit (bentuknya bisa mengepal, menunjuk, atau terhalang). Untuk memecahkannya dengan cepat di HP/Browser, MediaPipe menggunakan dua model Neural Network (Jaringan Saraf Tiruan) yang bekerja berurutan:

  • Tahap 1: Palm Detector (Deteksi Telapak)
    Model ini memindai seluruh gambar untuk mencari "telapak tangan" saja, mengabaikan jari-jari. Telapak tangan bentuknya kotak kaku dan lebih mudah dideteksi. Hasilnya adalah Bounding Box (BBox) berorientasi.
  • Tahap 2: Hand Landmark Model
    Setelah letak telapak ditemukan, area tersebut dipotong (crop) dan diumpankan ke model kedua. Model ini yang menebak posisi persis 21 titik sendi (landmarks) dalam koordinat 3D.
3Bagaimana Model Ini Dilatih?

Agar komputer tahu mana yang tangan dan bukan, pemrogram (Google) menggunakan teknik *Supervised Learning*. Mereka memasukkan ratusan ribu gambar ke dalam komputer:

  • Data Real-World (Foto Nyata): Lebih dari 30.000 foto tangan manusia asli dari berbagai ras, warna kulit, dan kondisi pencahayaan untuk melatih detektor telapak.
  • Data Sintetis (Render 3D): Ratusan ribu tangan CGI/animasi 3D digunakan untuk melatih prediksi kerangka 21 titik. Karena tangan 3D dibuat oleh komputer, koordinat sendinya sangat presisi.

🧠 Confidence Threshold (Batas Keyakinan):
AI tidak pernah "100% yakin". AI mengeluarkan probabilitas (misal: "Saya 75% yakin ini adalah tangan"). Batas Threshold (misal 50%) adalah penentu. Jika probabilitas > 50%, program menerima itu sebagai tangan. Jika di bawahnya, diabaikan (dianggap bukan tangan).

Instruksi Laboratorium

Uji ketahanan model AI terhadap berbagai skenario.

AEksplorasi Tahap 1 (Palm Box)
  • Buka tab 👁️ Visualisasi AI dan aktifkan kamera.
  • Angkat tangan Anda. Matikan toggle Stage 2: 21 Landmarks di panel kiri.
  • Perhatikan kotak (Bounding Box) biru di layar. Putar tangan Anda 360 derajat. Apakah kotak tersebut ikut berputar mengikuti orientasi telapak tangan Anda? Ini adalah keunggulan model MediaPipe.
BEksperimen Confidence Threshold
  • Di panel kiri, geser Deteksi Treshold menjadi 0.9 (90%).
  • Posisikan tangan Anda sedikit aneh (misal mengepal setengah atau terpotong tepi kamera). AI mungkin akan kehilangan pelacakan, karena Anda menuntut AI harus "sangat yakin" sebelum menampilkannya.
  • Turunkan slider menjadi 0.1 (10%). AI akan sangat sensitif. Kadang benda yang bukan tangan (misal bantal atau wajah) bisa salah dideteksi sebagai tangan (False Positive).
CAnalisis Data Output (JSON)
  • Hidupkan kembali toggle Stage 2: 21 Landmarks.
  • Lihat panel kanan (Data Stream). Anda akan melihat angka-angka berjalan saat tangan bergerak.
  • Nilai X (horizontal) dan Y (vertikal) dinormalisasi antara 0.0 hingga 1.0 (kiri atas ke kanan bawah).
  • Gerakkan telapak tangan mendekat dan menjauh dari kamera, amati perubahan nilai Z (kedalaman).

Lembar Kerja Peserta Didik (LKPD)

Evaluasi Pemahaman Dasar Machine Learning.

1Analisis Threshold (Batas Ambang)

Berdasarkan percobaan B, apa yang terjadi (efek samping) jika kita menyetel Confidence Threshold terlalu tinggi (0.9) dalam sebuah aplikasi pendeteksi tangan?

2Analisis Positif Palsu (False Positive)

Sebaliknya, mengapa menyetel Confidence Threshold terlalu rendah (0.1) tidak disarankan untuk aplikasi sistem keamanan? Jelaskan kaitannya dengan 'False Positive'!

3Logika Arsitektur (Pipeline)

Mengapa Insinyur Google merancang model ini dalam dua tahap (Mendeteksi kotak telapak tangan dulu, baru menebak posisi ke-21 jari), daripada langsung menebak seluruh jari sekaligus di seluruh area kamera?

4Pemanfaatan Data (Z Axis)

Berdasarkan data array yang Anda lihat di panel, bagaimana cara program mengetahui bahwa tangan kita sedang berada di depan atau di belakang tangan lainnya secara 3 Dimensi?

Data tersimpan di memori browser!