Contoh ANN Sederhana dari Kata yang Sudah Ditokenisasi

Contoh ANN Sederhana dari Kata yang Sudah Ditokenisasi

Contoh ANN Sederhana ini adalah bagian dari Serial ANN di blog Open Source Reza Ervani

Artificial Neural Network (ANN) atau Jaringan Syaraf Tiruan adalah metode pembelajaran mesin yang terinspirasi oleh struktur dan fungsi otak manusia. Dalam konteks penghitungan ANN untuk kata yang sudah ditokenisasi, kita dapat menggunakan contoh sederhana untuk menggambarkan bagaimana ANN bekerja. Berikut ini adalah langkah-langkah dan contoh proses penghitungan ANN secara manual:

1. Preprocessing

Langkah pertama adalah mempersiapkan data input, yang dalam hal ini adalah kata-kata yang sudah ditokenisasi. Sebagai contoh, mari kita gunakan daftar kata-kata berikut:

Kita ingin menggunakan ANN untuk memprediksi apakah kalimat ini positif atau negatif. Dalam kasus ini, kita dapat menggunakan representasi one-hot encoding untuk kata-kata.

2. Representasi Data

Kita akan mengubah kata-kata menjadi vektor menggunakan teknik one-hot encoding. Misalnya:

Setiap kata diwakili oleh vektor dengan panjang 4, karena ada 4 kata dalam daftar.

3. Arsitektur ANN

Mari kita gunakan ANN sederhana dengan satu lapisan input, satu lapisan tersembunyi, dan satu lapisan keluaran. Masing-masing lapisan memiliki bobot dan bias yang harus dioptimalkan. Misalnya, arsitektur ANN bisa terdiri dari:

• Lapisan Input: Menerima vektor one-hot encoding dari kata-kata.
• Lapisan Tersembunyi: Menggunakan neuron untuk mengubah data input. Kita menggunakan fungsi aktivasi ReLU untuk lapisan tersembunyi.
• Lapisan Keluaran: Menggunakan neuron tunggal untuk memberikan output.

4. Penghitungan ANN

Mari kita hitung hasil keluaran ANN secara manual.

• Bobot dan Bias Misalkan, kita memiliki satu lapisan tersembunyi dengan 2 neuron. Bobot dan bias untuk neuron-neuron tersebut adalah :

  Neuron 1: Bobot = [0.5, -0.2, 0.1, 0.7], Bias = 0.2
  • Neuron 2: Bobot = [-0.3, 0.4, -0.1, 0.5], Bias = -0.1
• Penghitungan Lapisan Tersembunyi Untuk setiap kata, kita melakukan perkalian titik antara vektor kata (one-hot encoding) dengan bobot neuron, ditambah bias :
  • Misalkan input adalah ‘suka’ -> [0, 1, 0, 0]
  • Neuron 1 : (0 * 0.5) + (1 * -0.2) + (0 * 0.1) + (0 * 0.7) + 0.2 = -0.2 + 0.2 = 0
  • Neuron 2 : (0 * -0.3) + (1 * 0.4) + (0 * -0.1) + (0 * 0.5) – 0.1 = 0.4 – 0.1 = 0.3
• Fungsi Aktivasi ReLU Kita menggunakan fungsi aktivasi ReLU untuk menghitung output dari lapisan tersembunyi:
  • Neuron 1: ReLU(0) = 0
  • Neuron 2: ReLU(0.3) = 0.3
• Lapisan Keluaran Misalkan, lapisan keluaran memiliki satu neuron dengan bobot [1.0, -0.5] dan bias 0.1:
  • Keluaran = (0 * 1.0) + (0.3 * -0.5) + 0.1 = -0.15 + 0.1 = -0.05

Maka, hasil keluaran ANN dari input kata ‘suka’ adalah -0.05, yang bisa diterjemahkan sebagai nilai tertentu (misalnya, skor sentimen negatif).

Demikianlah contoh proses penghitungan ANN secara manual untuk kata yang sudah ditokenisasi. Proses ini dapat diperluas untuk data dan arsitektur yang lebih kompleks.