Please take a moment to complete this survey below
Library's collection Library's IT development CancelDalam melakukan scraping suatu website, hal yang menjadi perhatian
utama adalah tipe dari website tersebut apakah termasuk website statis atau dinamis,
dan juga struktur data dari website tersebut. Dengan karakteristik website yang
berbeda-beda dan tools web scraping yang beragam, akan membuat pengguna
cukup kesulitan dalam memilih tools yang sesuai dengan kebutuhan.
Penelitian ini bertujuan untuk membandingkan tools web scraping dalam
scraping data dari karakteristik website yang berbeda, dan untuk memberikan
rekomendasi tools web scraping untuk penelitian ke depannya dengan mengetahui
tools yang tepat dalam menangani tiap karakteristik website.
Berdasarkan hasil pengujian yang sudah dilakukan, dapat disimpulkan,
penggunaan metode scraping melalui JSON API sangat efisien dalam segi waktu.
Contoh pada situs Tokopedia dengan mengambil 120 data, scraping menggunakan
tool cURL melalui API membutuhkan waktu rata-rata 34 detik, sedangkan scraping
melalui DOM membutuhkan waktu rata-rata 38 menit 20 detik.