Pengampu :<\/strong> Zuli Irawanto, ST<\/p>\n Setelah mempelajari materi ini, siswa diharapkan mampu:<\/p>\n Di Bagian A kita tahu bahwa tahap pertama analisis data adalah koleksi data<\/strong>. Bagaimana kalau datanya ada di sebuah situs web, misalnya daftar harga 1.000 buku? Menyalinnya satu per satu dengan tangan sangat melelahkan.<\/p>\n Web scraping<\/strong> adalah teknik mengambil data dari halaman web secara otomatis<\/strong> memakai program. Program kita bertugas “membaca” halaman web seperti manusia, lalu mencatat bagian yang kita butuhkan ke dalam tabel.<\/p>\n \u2696\ufe0f Etika dan aturan scraping, wajib dipahami!<\/strong><\/p>\n Bagian ini berisi 5 Tugas Praktik<\/strong>, yaitu Praktik 29 sampai 33<\/strong> (melanjutkan Bagian F). Polanya masih sama: \ud83e\udd14 Tebak dulu<\/strong> \u2192 \u2328\ufe0f Ketik & jalankan<\/strong> \u2192 \u2705 Cocokkan<\/strong> \u2192 \ud83d\udca1 Pahami<\/strong> \u2192 \ud83c\udfc1 Tantangan mini<\/strong>.<\/p>\n \ud83d\uddb1\ufe0f Lakukan langkah ini di browser (laptop\/komputer):<\/strong><\/p>\n \u2705 Yang akan kamu temukan (disederhanakan):<\/strong><\/p>\n \ud83d\udca1 Penjelasan:<\/strong> HTML tersusun dari tag<\/strong> yang diapit tanda \u2328\ufe0f Ketik di sel kode, lalu jalankan:<\/strong><\/p>\n \u2705 Hasilnya:<\/strong><\/p>\n \ud83d\udca1 Penjelasan:<\/strong> Teks yang diapit tiga tanda kutip \u2328\ufe0f Ketik di sel kode, lalu jalankan:<\/strong><\/p>\n \u2705 Hasilnya:<\/strong><\/p>\n \ud83d\udca1 Penjelasan:<\/strong> \u2328\ufe0f Ketik di sel kode, lalu jalankan:<\/strong><\/p>\n \u2705 Hasilnya:<\/strong><\/p>\n \ud83d\udca1 Penjelasan:<\/strong> \u2328\ufe0f Ketik di sel kode, lalu jalankan:<\/strong><\/p>\n \u2705 Hasilnya:<\/strong><\/p>\n \ud83d\udca1 Penjelasan:<\/strong> Kita menyiapkan dua list kosong, lalu mengisinya lewat perulangan dengan Untuk mengecek apakah sebuah situs mengizinkan scraping, tambahkan Situs asli seperti toko online atau media sering memiliki aturan ketat, bahkan menyediakan API<\/strong> resmi untuk mengambil data dengan cara yang diizinkan. Di Bagian H kita akan belajar membersihkan dan merapikan data hasil pengumpulan.<\/em><\/p>\n<\/div>\n Kemampuan scraping adalah kekuatan, dan kekuatan perlu disertai akhlak<\/strong>. Menghormati aturan situs, tidak mengambil data pribadi orang lain, tidak membebani server, dan menyebut sumber adalah bentuk menghargai hak sesama<\/strong>. Dengan bersikap jujur dan bertanggung jawab di dunia digital, kita menjaga diri sendiri dari masalah, sekaligus menjaga kenyamanan orang lain. Itulah wujud cinta diri dan sesama<\/strong>.<\/p>\n Refleksi: Apa yang kamu rasakan bila data pribadimu (foto, nomor HP) diambil dan disebarkan orang lain tanpa izin? Apa yang bisa kamu lakukan agar tidak melakukannya pada orang lain?<\/em><\/p>\n<\/div>\n Tugas Mandiri: Analisis Harga Buku dari Hasil Scraping<\/strong><\/p>\n Setelah menyelesaikan Praktik 29\u201333, buat satu notebook baru<\/strong> bernama Tugas_Scraping_NamaKamu<\/strong>, lalu kerjakan di situs books.toscrape.com<\/strong>:<\/p>\n
\n\ud83c\udfaf Tujuan Pembelajaran<\/h3>\n
\n
requests<\/code> dan BeautifulSoup, lalu menyimpannya dalam DataFrame.<\/li>\n<\/ol>\n
\nApa Itu Web Scraping?<\/h3>\n
requests<\/code> membuka alamat web<\/div>\n\n
robots.txt<\/code>). Ada situs yang melarang scraping.<\/li>\n
\nCara Belajar Bagian Ini<\/h3>\n
requests<\/code> dan BeautifulSoup sudah terpasang di Colab. Praktik 31 sampai 33 membutuhkan koneksi internet<\/strong>.<\/div>\n
\n\ud83e\uddea Tugas Praktik 29: Mengintip HTML Sebuah Halaman Web<\/h3>\n
\n
<article class=\"product_pod\">\r\n <h3><a href=\"...\" title=\"A Light in the Attic\">A Light in the ...<\/a><\/h3>\r\n <p class=\"price_color\">51.77<\/p>\r\n<\/article><\/pre>\n
< ><\/code>. Tiap tag biasanya punya pembuka dan penutup (<p> ... <\/p><\/code>). Perhatikan bahwa judul lengkap buku tersimpan di atribut<\/strong> title<\/code> pada tag <a><\/code>, sedangkan teks yang tampil dipotong. Untuk scraping, kita perlu tahu tag, atribut, dan class<\/strong> tempat data berada. (Catatan: pada halaman aslinya, angka harga didahului satu simbol mata uang asing. Abaikan saja, di praktik berikutnya kita hanya mengambil angkanya.)<\/em><\/p>\n\n\n
\n Bagian HTML<\/span><\/th>\n Artinya<\/span><\/th>\n Data yang kita ambil<\/span><\/th>\n<\/tr>\n<\/thead>\n\n \n <article class=\"product_pod\"><\/code><\/td>\nSatu kotak buku (kelas product_pod<\/code>)<\/td>\nWadah satu buku<\/td>\n<\/tr>\n \n <h3><a title=\"...\"><\/code><\/td>\nJudul; isi lengkapnya ada di atribut title<\/code><\/td>\nJudul buku<\/td>\n<\/tr>\n \n <p class=\"price_color\"><\/code><\/td>\nParagraf dengan class price_color<\/code><\/td>\nHarga buku<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n
\n\ud83e\uddea Tugas Praktik 30: Membaca HTML dengan BeautifulSoup<\/h3>\n
<li><\/code>?<\/div>\nfrom bs4 import BeautifulSoup\r\n\r\nhtml = \"\"\"\r\n<html><body>\r\n <h1>Daftar Nilai<\/h1>\r\n <ul>\r\n <li class=\"siswa\">Budi: 87<\/li>\r\n <li class=\"siswa\">Sari: 90<\/li>\r\n <li class=\"siswa\">Andi: 75<\/li>\r\n <\/ul>\r\n<\/body><\/html>\r\n\"\"\"\r\n\r\nsoup = BeautifulSoup(html, \"html.parser\")\r\nprint(soup.h1.text)\r\n\r\nfor item in soup.find_all(\"li\"):\r\n print(item.text)<\/pre>\n
Daftar Nilai\r\nBudi: 87\r\nSari: 90\r\nAndi: 75<\/pre>\n
\"\"\" ... \"\"\"<\/code> boleh terdiri dari banyak baris. BeautifulSoup(html, \"html.parser\")<\/code> mengubah HTML menjadi objek yang mudah ditelusuri. soup.h1.text<\/code> mengambil tulisan di dalam tag <h1><\/code>, sedangkan find_all(\"li\")<\/code> mengumpulkan semua<\/strong> tag <li><\/code> dalam bentuk list, yang bisa kita proses dengan for<\/code> (Bagian E). Perhatikan: di Python kodenya ditulis dengan tanda kurung siku\/kurung biasa, sedangkan tanda < ><\/code> hanya ada di dalam teks HTML.<\/p>\n<li class=\"siswa\">Dedi: 82<\/li><\/code> ke dalam HTML, lalu jalankan lagi. Apa yang berubah?<\/div>\n
\n\ud83e\uddea Tugas Praktik 31: Mengambil Halaman Web dengan requests<\/h3>\n
import requests\r\nfrom bs4 import BeautifulSoup\r\n\r\nurl = \"https:\/\/books.toscrape.com\/\"\r\nr = requests.get(url)\r\n\r\nprint(r.status_code)\r\n\r\nsoup = BeautifulSoup(r.content, \"html.parser\")\r\nprint(soup.title.text.strip())<\/pre>\n
200\r\nAll products | Books to Scrape - Sandbox<\/pre>\n
requests.get(url)<\/code> mengirim permintaan ke situs, mirip membuka alamat di browser. r.status_code<\/code> adalah kode jawaban dari situs: 200<\/strong> berarti berhasil, 404<\/strong> berarti halaman tidak ditemukan. Isi halaman (HTML) disimpan di r.content<\/code>, lalu diubah menjadi soup<\/code> seperti di Praktik 30. soup.title.text<\/code> mengambil judul halaman, dan .strip()<\/code> membuang spasi atau baris kosong di pinggir. Catatan:<\/em> hasil ini diambil dari situs langsung, jadi tampilannya bisa sedikit berbeda bila situs berubah.<\/p>\nurl<\/code> menjadi \"https:\/\/books.toscrape.com\/halaman-ngawur\"<\/code>. Apa status_code<\/code>-nya?<\/div>\n
\n\ud83e\uddea Tugas Praktik 32: Mengambil Judul dan Harga Buku<\/h3>\n
buku = soup.find_all(\"article\", class_=\"product_pod\")\r\nprint(\"Jumlah buku:\", len(buku))\r\n\r\nfor b in buku[:3]:\r\n judul = b.h3.a[\"title\"]\r\n teks = b.find(\"p\", class_=\"price_color\").text\r\n harga = teks[1:]\r\n print(f\"{judul} - {harga}\")<\/pre>\nJumlah buku: 20\r\nA Light in the Attic - 51.77\r\nTipping the Velvet - 53.74\r\nSoumission - 50.10<\/pre>\n
find_all(\"article\", class_=\"product_pod\")<\/code> mengumpulkan semua kotak buku (sesuai hasil Inspect di Praktik 29) ke dalam list buku<\/code>. Untuk tiap buku, judul diambil dari atribut<\/strong> title<\/code> (ditulis b.h3.a[\"title\"]<\/code>), dan harga dari tag p<\/code> ber-class price_color<\/code>. Teks harga diawali satu simbol mata uang yang tidak kita perlukan, jadi kita ambil mulai dari karakter kedua<\/strong> dengan teks[1:]<\/code> (slicing, sama seperti pada list di Bagian D). Potongan buku[:3]<\/code> adalah slicing<\/em> dari Bagian D. Praktik ini memakai soup<\/code> dari Praktik 31. Harga dan judul bisa berbeda bila situs memperbarui isinya.<\/p>\nbuku[:3]<\/code> menjadi buku[:5]<\/code> atau buku<\/code> agar semua 20 buku tampil.<\/div>\n
\n\ud83e\uddea Tugas Praktik 33: Menyimpan Hasil Scraping ke DataFrame<\/h3>\n
import pandas as pd\r\n\r\njudul = []\r\nharga = []\r\n\r\nfor b in buku:\r\n judul.append(b.h3.a[\"title\"])\r\n teks = b.find(\"p\", class_=\"price_color\").text\r\n harga.append(float(teks[1:]))\r\n\r\ndf = pd.DataFrame({\"Judul\": judul, \"Harga\": harga})\r\n\r\nprint(df.shape)\r\nprint(df.head(3))<\/pre>\n(20, 2)\r\n Judul Harga\r\n0 A Light in the Attic 51.77\r\n1 Tipping the Velvet 53.74\r\n2 Soumission 50.10<\/pre>\n
append()<\/code>. Harga awalnya berupa teks<\/strong> yang diawali satu simbol. Simbol itu dibuang dengan teks[1:]<\/code>, lalu sisanya diubah menjadi angka desimal dengan float()<\/code> (ingat tipe data di Bagian C!). Setelah itu data siap diolah dengan pandas, misalnya df[\"Harga\"].mean()<\/code> atau df.sort_values(\"Harga\")<\/code> seperti di Bagian F. Selamat! \ud83c\udf89 Kamu telah menyelesaikan alur koleksi data otomatis<\/strong> dari awal sampai tabel.<\/p>\ndf.sort_values(\"Harga\").head(3)<\/code>.<\/div>\n
\nRangkuman<\/h3>\n
\n
robots.txt<\/code>), jangan membebani server, dan sebutkan sumber.<\/li>\nrequests.get()<\/code> mengambil halaman, dan status_code<\/code> 200 berarti berhasil.<\/li>\nfind_all()<\/code>, .text<\/code>, dan atribut seperti [\"title\"]<\/code>.<\/li>\n
\n\ud83c\udf31 Pengayaan (Opsional)<\/h4>\n
\/robots.txt<\/code> di belakang alamat situs tersebut di browser, misalnya https:\/\/books.toscrape.com\/robots.txt<\/code>. Berkas itu berisi aturan bagian mana yang boleh dan tidak boleh diambil oleh program.<\/p>\n
\n\ud83d\udc97 Nilai Panca Cinta: Cinta Diri dan Sesama<\/h3>\n
\n\ud83d\udcdd Tugas Siswa<\/h3>\n
\n