Panduan untuk Crawler4j

1. Perkenalan

Kami melihat perayap web digunakan setiap kali kami menggunakan mesin telusur favorit kami. Mereka juga biasa digunakan untuk mengikis dan menganalisis data dari situs web.

Dalam tutorial ini, kita akan mempelajari cara menggunakan crawler4j untuk menyiapkan dan menjalankan crawler web kita sendiri. crawler4j adalah proyek Java open source yang memungkinkan kita melakukan ini dengan mudah.

2. Penyiapan

Mari gunakan Maven Central untuk menemukan versi terbaru dan memasukkan dependensi Maven:

 edu.uci.ics crawler4j 4.4.0 

3. Membuat Crawler

3.1. Perayap HTML Sederhana

Kita akan mulai dengan membuat crawler dasar yang meng-crawl halaman HTML di //baeldung.com .

Mari buat perayap kami dengan memperluas WebCrawler di kelas perayap kami dan tentukan pola untuk mengecualikan jenis file tertentu:

public class HtmlCrawler extends WebCrawler js

Di setiap kelas crawler, kita harus mengganti dan mengimplementasikan dua metode: shouldVisit dan visit .

Mari buat metode shouldVisit kita sekarang menggunakan pola PENGECUALIAN yang kita buat:

@Override public boolean shouldVisit(Page referringPage, WebURL url) { String urlString = url.getURL().toLowerCase(); return !EXCLUSIONS.matcher(urlString).matches() && urlString.startsWith("//www.baeldung.com/"); }

Kemudian, kami dapat melakukan pemrosesan untuk halaman yang dikunjungi dengan metode kunjungan :

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); if (page.getParseData() instanceof HtmlParseData) { HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); String title = htmlParseData.getTitle(); String text = htmlParseData.getText(); String html = htmlParseData.getHtml(); Set links = htmlParseData.getOutgoingUrls(); // do something with the collected data } }

Setelah crawler kami ditulis, kami perlu mengkonfigurasi dan menjalankannya:

File crawlStorage = new File("src/test/resources/crawler4j"); CrawlConfig config = new CrawlConfig(); config.setCrawlStorageFolder(crawlStorage.getAbsolutePath()); int numCrawlers = 12; PageFetcher pageFetcher = new PageFetcher(config); RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); RobotstxtServer robotstxtServer= new RobotstxtServer(robotstxtConfig, pageFetcher); CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer); controller.addSeed("//www.baeldung.com/"); CrawlController.WebCrawlerFactory factory = HtmlCrawler::new; controller.start(factory, numCrawlers);

Kami mengonfigurasi direktori penyimpanan sementara, menentukan jumlah untaian perayapan, dan memasukkan perayap dengan URL awal.

Kita juga harus mencatat bahwa metode CrawlController.start () adalah operasi pemblokiran . Kode apa pun setelah panggilan itu hanya akan dijalankan setelah crawler selesai berjalan.

3.2. ImageCrawler

Secara default, crawler4j tidak merayapi data biner. Dalam contoh berikut ini, kami akan mengaktifkan fungsionalitas itu dan merayapi semua JPEG di Baeldung.

Mari kita mulai dengan mendefinisikan kelas ImageCrawler dengan konstruktor yang mengambil direktori untuk menyimpan gambar:

public class ImageCrawler extends WebCrawler { private final static Pattern EXCLUSIONS = Pattern.compile(".*(\\.(css|js|xml|gif|png|mp3|mp4|zip|gz|pdf))$"); private static final Pattern IMG_PATTERNS = Pattern.compile(".*(\\.(jpg|jpeg))$"); private File saveDir; public ImageCrawler(File saveDir) { this.saveDir = saveDir; } // more code }

Selanjutnya, mari terapkan metode shouldVisit :

@Override public boolean shouldVisit(Page referringPage, WebURL url) { String urlString = url.getURL().toLowerCase(); if (EXCLUSIONS.matcher(urlString).matches()) { return false; } if (IMG_PATTERNS.matcher(urlString).matches() || urlString.startsWith("//www.baeldung.com/")) { return true; } return false; }

Sekarang, kami siap untuk menerapkan metode kunjungan :

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); if (IMG_PATTERNS.matcher(url).matches() && page.getParseData() instanceof BinaryParseData) { String extension = url.substring(url.lastIndexOf(".")); int contentLength = page.getContentData().length; // write the content data to a file in the save directory } }

Menjalankan ImageCrawler kita mirip dengan menjalankan HttpCrawler , tetapi kita perlu mengkonfigurasinya untuk menyertakan konten biner:

CrawlConfig config = new CrawlConfig(); config.setIncludeBinaryContentInCrawling(true); // ... same as before CrawlController.WebCrawlerFactory factory = () -> new ImageCrawler(saveDir); controller.start(factory, numCrawlers);

3.3. Mengumpulkan data

Sekarang kita telah melihat beberapa contoh dasar, mari memperluas HtmlCrawler kita untuk mengumpulkan beberapa statistik dasar selama perayapan kita.

Pertama, mari kita tentukan kelas sederhana untuk menampung beberapa statistik:

public class CrawlerStatistics { private int processedPageCount = 0; private int totalLinksCount = 0; public void incrementProcessedPageCount() { processedPageCount++; } public void incrementTotalLinksCount(int linksCount) { totalLinksCount += linksCount; } // standard getters }

Selanjutnya, mari ubah HtmlCrawler kita untuk menerima instance CrawlerStatistics melalui konstruktor:

private CrawlerStatistics stats; public HtmlCrawler(CrawlerStatistics stats) { this.stats = stats; }

Dengan objek CrawlerStatistics baru kami , mari ubah metode kunjungan untuk mengumpulkan yang kami inginkan:

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); stats.incrementProcessedPageCount(); if (page.getParseData() instanceof HtmlParseData) { HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); String title = htmlParseData.getTitle(); String text = htmlParseData.getText(); String html = htmlParseData.getHtml(); Set links = htmlParseData.getOutgoingUrls(); stats.incrementTotalLinksCount(links.size()); // do something with collected data } }

Sekarang, mari kembali ke controller kita dan berikan HtmlCrawler dengan instance CrawlerStatistics :

CrawlerStatistics stats = new CrawlerStatistics(); CrawlController.WebCrawlerFactory factory = () -> new HtmlCrawler(stats);

3.4. Beberapa Perayap

Berdasarkan contoh sebelumnya, sekarang mari kita lihat bagaimana kita dapat menjalankan beberapa crawler dari pengontrol yang sama.

It's recommended that each crawler use its own temporary storage directory, so we need to create separate configurations for each one we'll be running.

The CrawlControllers can share a single RobotstxtServer, but otherwise, we basically need a copy of everything.

So far, we've used the CrawlController.start method to run our crawlers and noted that it's a blocking method. To run multiples, we'll use CrawlerControlller.startNonBlocking in conjunction with CrawlController.waitUntilFinish.

Now, let's create a controller to run HtmlCrawler and ImageCrawler concurrently:

File crawlStorageBase = new File("src/test/resources/crawler4j"); CrawlConfig htmlConfig = new CrawlConfig(); CrawlConfig imageConfig = new CrawlConfig(); // Configure storage folders and other configurations PageFetcher pageFetcherHtml = new PageFetcher(htmlConfig); PageFetcher pageFetcherImage = new PageFetcher(imageConfig); RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcherHtml); CrawlController htmlController = new CrawlController(htmlConfig, pageFetcherHtml, robotstxtServer); CrawlController imageController = new CrawlController(imageConfig, pageFetcherImage, robotstxtServer); // add seed URLs CrawlerStatistics stats = new CrawlerStatistics(); CrawlController.WebCrawlerFactory htmlFactory = () -> new HtmlCrawler(stats); File saveDir = new File("src/test/resources/crawler4j"); CrawlController.WebCrawlerFactory imageFactory = () -> new ImageCrawler(saveDir); imageController.startNonBlocking(imageFactory, 7); htmlController.startNonBlocking(htmlFactory, 10); htmlController.waitUntilFinish(); imageController.waitUntilFinish();

4. Configuration

We've already seen some of what we can configure. Now, let's go over some other common settings.

Settings are applied to the CrawlConfig instance we specify in our controller.

4.1. Limiting Crawl Depth

By default, our crawlers will crawl as deep as they can. To limit how deep they'll go, we can set the crawl depth:

crawlConfig.setMaxDepthOfCrawling(2);

Seed URLs are considered to be at depth 0, so a crawl depth of 2 will go two layers beyond the seed URL.

4.2. Maximum Pages to Fetch

Another way to limit how many pages our crawlers will cover is to set the maximum number of pages to crawl:

crawlConfig.setMaxPagesToFetch(500);

4.3. Maximum Outgoing Links

We can also limit the number of outgoing links followed off each page:

crawlConfig.setMaxOutgoingLinksToFollow(2000);

4.4. Politeness Delay

Since very efficient crawlers can easily be a strain on web servers, crawler4j has what it calls a politeness delay. By default, it's set to 200 milliseconds. We can adjust this value if we need to:

crawlConfig.setPolitenessDelay(300);

4.5. Include Binary Content

We already used the option for including binary content with our ImageCrawler:

crawlConfig.setIncludeBinaryContentInCrawling(true);

4.6. Include HTTPS

By default, crawlers will include HTTPS pages, but we can turn that off:

crawlConfig.setIncludeHttpsPages(false);

4.7. Resumable Crawling

If we have a long-running crawler and we want it to resume automatically, we can set resumable crawling. Turning it on may cause it to run slower:

crawlConfig.setResumableCrawling(true);

4.8. User-Agent String

The default user-agent string for crawler4j is crawler4j. Let's customize that:

crawlConfig.setUserAgentString("baeldung demo (//github.com/yasserg/crawler4j/)");

Kami baru saja membahas beberapa konfigurasi dasar di sini. Kita dapat melihat kelas CrawConfig jika kita tertarik pada beberapa opsi konfigurasi yang lebih maju atau tidak jelas.

5. Kesimpulan

Di artikel ini, kami telah menggunakan crawler4j untuk membuat crawler web kami sendiri. Kami mulai dengan dua contoh sederhana merayapi HTML dan gambar. Kemudian, kami membuat contoh tersebut untuk melihat bagaimana kami dapat mengumpulkan statistik dan menjalankan beberapa perayap secara bersamaan.

Contoh kode lengkap tersedia di GitHub.