Please take a moment to complete this survey below
Library's collection Library's IT development CancelBanyaknya jumlah pengangguran di Indonesia beberapa tahun terakhir sangatlah memprihatinkan, meskipun Indonesia sendiri mengalami surplus ekonomi, terutama selama pandemi COVID-19. Kondisi ini mendorong untuk dibuatnya sebuah platform yang dapat menyatukan penyedia lowongan kerja dengan pencari kerja secara lebih efisien; di mana penyedia lowongan kerja perlu menyebarkan lowongan mereka ke khalayak yang lebih luas, sedangkan pencari kerja perlu mendapatkan akses ke lowongan kerja yang lebih banyak. Metode Web Scraping dapat membantu mengatasi masalah tersebut dengan mengambil data lowongan kerja dari berbagai situs penyedia lowongan kerja, dan kemudian menyajikan data tersebut ke pencari kerja melalui sebuah platform yang mudah digunakan.
Sebuah kontroversi besar mengenai proses web scraping pada situs lowongan kerja adalah legalitas dari proses tersebut dan aksi dari beberapa situs penyedia lowongan kerja yang memblokir proses web scrapin untuk melindungi kepentingan bisnis, seperti pada contoh kasus LinkedIn. Taktik pemblokiran yang umum digunakan adalah pembatasan request, penggunaan robots.txt, pelarangan user agent tertentu, dan juga blacklist alamat IP.
Penelitian ini dilakukan untuk membantu mengatasi masalah-masalah di atas, dengan cara mengambil data lowongan kerja dari berbagai situs penyedia lowongan kerja menggunakan web scraping, melakukan berbagai metode yang bertujuan untuk mencegah pemblokiran pada proses web scraping data, menyimpan data yang diambil tersebut pada sebauh sistem database yang tersentralisasi, dan menyajikan data lowongan tersebut ke pencari kerja melalui sebuah aplikasi mobile yang mudah digunakan. Adapun metode mitigasi pemblokiran yang digunakan adalah bandwidth autothrottling, user agent randomization, ignore robots.txt, dan juga melalui penggunaan proxy server.
Berdasarkan hasil pengujian yang telah dilakukan, program yang dibuat berhasil mengambil data lowongan kerja dari berbagai situs penyedia lowongan kerja yang diuji, meskipun terdapat beberapa kekurangan dalam proses pengambilan data tersebut. Metode-metode mitigasi pemblokiran yang dianjurkan juga berhasil menghindari blokir dari sebagian besar situs yang diuji, namun karena kurangnya fasilitas, satu metode tidak dapat dilakukan pengujian.