Pengumpulan Data Otomatis – Web Scraping

Informatika Kelas X — Bab 6: Analisis Data

Bagian G: Pengumpulan Data Otomatis — Web Scraping

Pengampu : Zuli Irawanto, ST

🎯 Tujuan Pembelajaran

Setelah mempelajari materi ini, siswa diharapkan mampu:

1. Menjelaskan pengertian web scraping dan manfaatnya untuk mengumpulkan data.
2. Menerapkan etika dan aturan dasar dalam mengambil data dari situs web.
3. Membaca struktur sederhana HTML (tag, atribut, dan class).
4. Mengambil data dari halaman web memakai pustaka requests dan BeautifulSoup, lalu menyimpannya dalam DataFrame.

Apa Itu Web Scraping?

Di Bagian A kita tahu bahwa tahap pertama analisis data adalah koleksi data. Bagaimana kalau datanya ada di sebuah situs web, misalnya daftar harga 1.000 buku? Menyalinnya satu per satu dengan tangan sangat melelahkan.

Web scraping adalah teknik mengambil data dari halaman web secara otomatis memakai program. Program kita bertugas “membaca” halaman web seperti manusia, lalu mencatat bagian yang kita butuhkan ke dalam tabel.

Cara Belajar Bagian Ini

Bagian ini berisi 5 Tugas Praktik, yaitu Praktik 29 sampai 33 (melanjutkan Bagian F). Polanya masih sama: 🤔 Tebak dulu → ⌨️ Ketik & jalankan → ✅ Cocokkan → 💡 Pahami → 🏁 Tantangan mini.

🧪 Tugas Praktik 29: Mengintip HTML Sebuah Halaman Web

🖱️ Lakukan langkah ini di browser (laptop/komputer):

1. Buka books.toscrape.com.
2. Klik kanan pada judul salah satu buku, lalu pilih Inspect (atau tekan F12).
3. Perhatikan baris yang ter-highlight di panel kode. Itulah HTML halaman tersebut.

✅ Yang akan kamu temukan (disederhanakan):

<article class="product_pod">
  <h3><a href="..." title="A Light in the Attic">A Light in the ...</a></h3>
  <p class="price_color">51.77</p>
</article>

💡 Penjelasan: HTML tersusun dari tag yang diapit tanda < >. Tiap tag biasanya punya pembuka dan penutup (<p> ... </p>). Perhatikan bahwa judul lengkap buku tersimpan di atribut title pada tag <a>, sedangkan teks yang tampil dipotong. Untuk scraping, kita perlu tahu tag, atribut, dan class tempat data berada. (Catatan: pada halaman aslinya, angka harga didahului satu simbol mata uang asing. Abaikan saja, di praktik berikutnya kita hanya mengambil angkanya.)

🧪 Tugas Praktik 30: Membaca HTML dengan BeautifulSoup

⌨️ Ketik di sel kode, lalu jalankan:

from bs4 import BeautifulSoup

html = """
<html><body>
  <h1>Daftar Nilai</h1>
  <ul>
    <li class="siswa">Budi: 87</li>
    <li class="siswa">Sari: 90</li>
    <li class="siswa">Andi: 75</li>
  </ul>
</body></html>
"""

soup = BeautifulSoup(html, "html.parser")
print(soup.h1.text)

for item in soup.find_all("li"):
    print(item.text)

✅ Hasilnya:

Daftar Nilai
Budi: 87
Sari: 90
Andi: 75

💡 Penjelasan: Teks yang diapit tiga tanda kutip """ ... """ boleh terdiri dari banyak baris. BeautifulSoup(html, "html.parser") mengubah HTML menjadi objek yang mudah ditelusuri. soup.h1.text mengambil tulisan di dalam tag <h1>, sedangkan find_all("li") mengumpulkan semua tag <li> dalam bentuk list, yang bisa kita proses dengan for (Bagian E). Perhatikan: di Python kodenya ditulis dengan tanda kurung siku/kurung biasa, sedangkan tanda < > hanya ada di dalam teks HTML.

🧪 Tugas Praktik 31: Mengambil Halaman Web dengan requests

⌨️ Ketik di sel kode, lalu jalankan:

import requests
from bs4 import BeautifulSoup

url = "https://books.toscrape.com/"
r = requests.get(url)

print(r.status_code)

soup = BeautifulSoup(r.content, "html.parser")
print(soup.title.text.strip())

✅ Hasilnya:

200
All products | Books to Scrape - Sandbox

💡 Penjelasan: requests.get(url) mengirim permintaan ke situs, mirip membuka alamat di browser. r.status_code adalah kode jawaban dari situs: 200 berarti berhasil, 404 berarti halaman tidak ditemukan. Isi halaman (HTML) disimpan di r.content, lalu diubah menjadi soup seperti di Praktik 30. soup.title.text mengambil judul halaman, dan .strip() membuang spasi atau baris kosong di pinggir. Catatan: hasil ini diambil dari situs langsung, jadi tampilannya bisa sedikit berbeda bila situs berubah.

🧪 Tugas Praktik 32: Mengambil Judul dan Harga Buku

⌨️ Ketik di sel kode, lalu jalankan:

buku = soup.find_all("article", class_="product_pod")
print("Jumlah buku:", len(buku))

for b in buku[:3]:
    judul = b.h3.a["title"]
    teks = b.find("p", class_="price_color").text
    harga = teks[1:]
    print(f"{judul} - {harga}")

✅ Hasilnya:

Jumlah buku: 20
A Light in the Attic - 51.77
Tipping the Velvet - 53.74
Soumission - 50.10

💡 Penjelasan: find_all("article", class_="product_pod") mengumpulkan semua kotak buku (sesuai hasil Inspect di Praktik 29) ke dalam list buku. Untuk tiap buku, judul diambil dari atribut title (ditulis b.h3.a["title"]), dan harga dari tag p ber-class price_color. Teks harga diawali satu simbol mata uang yang tidak kita perlukan, jadi kita ambil mulai dari karakter kedua dengan teks[1:] (slicing, sama seperti pada list di Bagian D). Potongan buku[:3] adalah slicing dari Bagian D. Praktik ini memakai soup dari Praktik 31. Harga dan judul bisa berbeda bila situs memperbarui isinya.

🧪 Tugas Praktik 33: Menyimpan Hasil Scraping ke DataFrame

⌨️ Ketik di sel kode, lalu jalankan:

import pandas as pd

judul = []
harga = []

for b in buku:
    judul.append(b.h3.a["title"])
    teks = b.find("p", class_="price_color").text
    harga.append(float(teks[1:]))

df = pd.DataFrame({"Judul": judul, "Harga": harga})

print(df.shape)
print(df.head(3))

✅ Hasilnya:

(20, 2)
                    Judul  Harga
0    A Light in the Attic  51.77
1      Tipping the Velvet  53.74
2              Soumission  50.10

💡 Penjelasan: Kita menyiapkan dua list kosong, lalu mengisinya lewat perulangan dengan append(). Harga awalnya berupa teks yang diawali satu simbol. Simbol itu dibuang dengan teks[1:], lalu sisanya diubah menjadi angka desimal dengan float() (ingat tipe data di Bagian C!). Setelah itu data siap diolah dengan pandas, misalnya df["Harga"].mean() atau df.sort_values("Harga") seperti di Bagian F. Selamat! 🎉 Kamu telah menyelesaikan alur koleksi data otomatis dari awal sampai tabel.

Rangkuman

• Web scraping adalah teknik mengambil data dari halaman web secara otomatis, dan menjadi tahap koleksi data dalam analisis data.
• Lakukan scraping dengan etis: ambil data publik, patuhi aturan situs (robots.txt), jangan membebani server, dan sebutkan sumber.
• HTML tersusun dari tag, atribut, dan class. Gunakan Inspect di browser untuk menemukan lokasi data.
• requests.get() mengambil halaman, dan status_code 200 berarti berhasil.
• BeautifulSoup memudahkan pencarian data: find_all(), .text, dan atribut seperti ["title"].
• Hasil scraping disimpan ke list, lalu dijadikan DataFrame untuk dianalisis dengan pandas.