Reinforcement Machine Learning

Pendahuluan:

Reinforcement learning berada di antara supervised dan unsupervised learning. Secara resmi dan teknis ini bukan supervised learning karena tidak hanya bergantung pada sekumpulan data pelatihan berlabel, tetapi juga bukan unsupervised learning karena kita mengamati agen kita agar memaksimalkan imbalan. Untuk memengaruhi tujuan utamanya, agen harus memilih tindakan dan perilaku yang "benar" untuk dilakukan dalam berbagai skenario.

Apa itu reinforcement machine learning?

Reinforcement learning adalah jenis machine learning di mana mesin mempelajari perilaku optimal atau tindakan yang sesuai dalam lingkungan tertentu untuk memaksimalkan imbalannya. Dalam perilaku ini, mesin belajar dari interaksi dengan lingkungan dan mengamati bagaimana harus merespons.

Reinforcement learning berbeda dari supervised learning karena supervised learning memuat lembar jawaban, sehingga model dilatih dengan jawaban yang akurat, sedangkan reinforcement learning tidak memiliki jawaban dan sebagai gantinya mengandalkan agen penguatan untuk memutuskan apa yang harus dilakukan untuk menyelesaikan tugas. Ia harus beradaptasi dari pengetahuannya tanpa adanya dataset pelatihan.

Bagaimana cara kerja reinforcement learning?

Agen menjelajahi lingkungan yang tidak dikenal untuk mencapai tujuan dalam masalah Reinforcement Learning. Reinforcement Learning dibangun di atas gagasan bahwa memaksimalkan imbalan kumulatif yang diharapkan dapat digunakan untuk merepresentasikan tujuan apa pun. Untuk memaksimalkan imbalan, agen harus belajar mempersepsi dan memengaruhi state lingkungan melalui tindakannya.

Untuk memahami cara kerja RL, kita harus memeriksa dua faktor utama:

Lingkungan: Bisa berupa ruangan, labirin, lapangan sepak bola, atau hal lainnya.

Agen: Agen cerdas, seperti robot AI, disebut sebagai agen.

Ambil contoh lingkungan labirin yang harus dilalui agen. Perhatikan ilustrasi berikut:

Agen berada di blok pertama dalam labirin pada gambar di atas. Labirin terdiri dari blok S6 yang berupa dinding, blok S8 yang berupa lubang api, dan blok S4 yang berupa blok berlian.

Agen tidak dapat melewati blok S6 karena itu adalah dinding keras. Jika agen mencapai blok S4, ia akan menerima imbalan +1, sedangkan jika mencapai lubang api, ia akan menerima imbalan -1. Agen dapat bergerak ke empat arah berbeda: atas, bawah, kiri, dan kanan.

Agen dapat memilih jalur apa pun untuk mencapai titik akhir, tetapi harus melakukannya dengan langkah sesedikit mungkin. Jika agen menempuh jalur S9-S5-S1-S2-S3, ia akan menerima poin imbalan +1.

Agen akan berusaha mengingat langkah-langkah yang mengarah ke titik ini. Agen memberi nilai 1 pada setiap langkah sebelumnya untuk mengingatnya.[1]

Apa saja jenis reinforcement learning?

Hanya ada dua jenis reinforcement learning, sebagai berikut:

• Positif:

Ketika suatu peristiwa terjadi akibat perilaku tertentu, penguatan meningkatkan kekuatan dan frekuensi perilaku tersebut. Dengan kata lain, penguatan memberikan pengaruh yang menguntungkan pada perilaku.

• Negatif:

Penguatan terjadi ketika suatu perilaku diperkuat akibat keadaan negatif yang dihindari atau dihentikan.

Apa saja contoh reinforcement learning?

Robotika:

Robot dengan perilaku yang telah diprogram sebelumnya efektif di lingkungan terorganisasi dengan tugas berulang, seperti lini perakitan di pabrik mobil. Memprogram perilaku yang tepat di dunia nyata, di mana respons lingkungan terhadap aktivitas robot tidak diketahui, hampir mustahil. Dalam kasus seperti itu, RL menawarkan teknik yang cepat dan mudah untuk membuat robot serba guna. Ini telah digunakan secara efektif dalam perencanaan rute robot, di mana robot harus menemukan jalur yang pendek, mulus, dan dapat dilalui di antara dua titik, bebas tabrakan, dan konsisten dengan dinamika robot.

Mengemudi Otonom:

Dalam lingkungan yang berubah-ubah, sistem mengemudi otonom harus menyelesaikan banyak tugas persepsi dan perencanaan. Perencanaan rute kendaraan dan prediksi gerakan adalah dua contoh aktivitas di mana RL dapat digunakan. Untuk mengambil keputusan pada berbagai skala waktu dan geografis, perencanaan jalur kendaraan memerlukan sejumlah aturan tingkat rendah dan tinggi. Tantangan memperkirakan gerakan manusia dan kendaraan lain untuk memahami bagaimana situasi dapat berkembang berdasarkan kondisi lingkungan saat ini dikenal sebagai prediksi gerakan.

Apa keunggulan reinforcement learning?

• Reinforcement learning dapat digunakan untuk menangani masalah yang sangat kompleks yang mustahil diselesaikan dengan metode tradisional.
• Pendekatan ini disukai untuk mencapai hasil jangka panjang yang sulit dicapai.
• Paradigma pembelajaran ini sangat mirip dengan pembelajaran manusia. Akibatnya, ia hampir mencapai kesempurnaan.
• Model memiliki kemampuan memperbaiki kesalahan yang dibuat selama fase pelatihan.
• Setelah model memperbaiki suatu kesalahan, kemungkinan terjadinya kesalahan lain sangat rendah.
• Ia memiliki kemampuan merancang model ideal untuk mengatasi masalah tertentu.
• Untuk belajar berjalan, robot dapat menggunakan algoritma reinforcement learning.
• Reinforcement learning bertujuan memaksimalkan kinerja model dengan mencapai perilaku optimalnya dalam situasi tertentu.
• Ketika satu-satunya cara untuk mengumpulkan pengetahuan tentang lingkungan adalah dengan berinteraksi dengannya, pendekatan ini bisa sangat berharga.[2]

Apa kekurangan reinforcement learning?

• Reinforcement learning sebagai kerangka kerja keliru dalam banyak hal, namun justru kekurangan inilah yang membuatnya efektif.
• Terlalu banyak reinforcement learning dapat menghasilkan jumlah state yang berlebihan, sehingga menurunkan kegunaan dan efektivitasnya.
• Untuk tugas-tugas dasar, ini bukan pilihan terbaik.
• Reinforcement learning membutuhkan data dan komputasi dalam jumlah besar. Ia memiliki nafsu yang tak terpuaskan akan statistik. Itulah sebabnya ia bekerja sangat baik di video game, karena permainan dapat dimainkan berulang kali sehingga memperoleh data dalam jumlah besar tampaknya mungkin dilakukan.
• Alih-alih meninggalkan reinforcement learning sepenuhnya, kita dapat menggunakan kombinasi reinforcement learning dan pendekatan tambahan untuk mengatasi banyak masalah. Reinforcement learning dan Deep Learning adalah kombinasi yang umum.

Kesimpulan:

Reinforcement Learning mengatasi kesulitan mempelajari metode kontrol untuk agen otonom dengan sedikit atau tanpa data. Karena mengumpulkan dan memberi label pada banyak sampel pola lebih mahal daripada datanya sendiri, algoritma RL berguna dalam machine learning. Keputusan dibuat melalui reinforcement learning. Hal ini memungkinkan sistem cerdas mencoba keterlibatan atau pendekatan baru, mengubah arah ketika terjadi kegagalan, dan membangun di atas keberhasilan dengan mengembangkan simulasi seluruh perusahaan atau sistem.

1. Reinforcement Learning Tutorial. Tersedia dari: https://www.javatpoint.com/reinforcement-learning.
2. Pros and Cons of Reinforcement Learning. Tersedia dari: https://pythonistaplanet.com/pros-and-cons-of-reinforcement-learning/.

 

Siklus reinforcement learning

1. Sebuah agen mengamati state lingkungannya saat ini.
2. Agen melakukan sebuah tindakan.
3. Lingkungan mengembalikan imbalan (positif atau negatif) dan state baru.
4. Agen memperbarui kebijakannya untuk memperoleh lebih banyak imbalan dari waktu ke waktu.

Contoh di dunia nyata

• Permainan: sistem yang belajar bermain Go dan video game dengan bermain melawan dirinya sendiri.
• Robotika: robot yang belajar berjalan atau menggenggam objek.
• Rekomendasi dan iklan: memilih apa yang ditampilkan untuk memaksimalkan keterlibatan jangka panjang.
• Manajemen sumber daya: pendinginan pusat data dan pengendalian lampu lalu lintas.
• Model bahasa: fine-tuning dengan umpan balik manusia untuk menghasilkan jawaban yang lebih membantu.

Reinforcement vs supervised vs unsupervised learning

Supervised learning belajar dari contoh berlabel (supervised learning); unsupervised learning menemukan struktur dalam data tak berlabel (unsupervised learning); reinforcement learning belajar lewat coba-coba dari imbalan. Lihat gambaran umumnya di apa itu machine learning.

Jawaban singkat

Apa itu fungsi imbalan?

Aturan yang menilai seberapa baik suatu tindakan atau hasil. Merancangnya dengan baik adalah salah satu bagian tersulit dari reinforcement learning.