Pengantar Apache Lucene

1. Ikhtisar

Apache Lucene adalah mesin pencari teks lengkap yang dapat digunakan dari berbagai bahasa pemrograman.

Pada artikel ini, kami akan mencoba memahami konsep inti pustaka dan membuat aplikasi sederhana.

2. Pengaturan Maven

Untuk memulai, mari tambahkan dependensi yang diperlukan terlebih dahulu:

 org.apache.lucene lucene-core 7.1.0 

Versi terbaru dapat ditemukan di sini.

Selain itu, untuk mengurai kueri penelusuran kami, kami memerlukan:

 org.apache.lucene lucene-queryparser 7.1.0 

Periksa versi terbaru di sini.

3. Konsep Inti

3.1. Pengindeksan

Sederhananya, Lucene menggunakan "pengindeksan terbalik" data - alih - alih memetakan halaman ke kata kunci, ia memetakan kata kunci ke halaman seperti glosarium di akhir buku mana pun.

Hal ini memungkinkan respons pencarian yang lebih cepat, seperti pencarian melalui indeks, daripada mencari melalui teks secara langsung.

3.2. Dokumen

Di sini, dokumen adalah kumpulan bidang, dan setiap bidang memiliki nilai yang terkait dengannya.

Indeks biasanya terdiri dari satu atau lebih dokumen, dan hasil pencarian adalah kumpulan dokumen yang paling cocok.

Ini tidak selalu berupa dokumen teks biasa, bisa juga berupa tabel database atau kumpulan.

3.3. Fields

Dokumen dapat memiliki data lapangan, di mana bidang biasanya berupa kunci yang menyimpan nilai data:

title: Goodness of Tea body: Discussing goodness of drinking herbal tea...

Perhatikan bahwa di sini judul dan badan adalah bidang dan dapat dicari bersama-sama atau secara individual.

3.4. Analisis

Analisis mengubah teks yang diberikan menjadi unit yang lebih kecil dan tepat untuk memudahkan pencarian.

Teks menjalani berbagai operasi untuk mengekstrak kata kunci, menghapus kata dan tanda baca yang umum, mengubah kata menjadi huruf kecil, dll.

Untuk tujuan ini, ada beberapa penganalisis bawaan:

  1. StandardAnalyzer - analisis berdasarkan tata bahasa dasar, menghapus kata henti seperti "a", "an", dll. Juga mengonversi dalam huruf kecil
  2. SimpleAnalyzer - memecah teks berdasarkan karakter tanpa huruf dan mengonversi dalam huruf kecil
  3. WhiteSpaceAnalyzer - memecah teks berdasarkan spasi

Ada lebih banyak penganalisis yang tersedia untuk kami gunakan dan sesuaikan juga.

3.5. Mencari

Setelah indeks dibuat, kita dapat mencari indeks tersebut menggunakan Query dan IndexSearcher. Hasil pencarian biasanya berupa kumpulan hasil, yang berisi data yang diambil.

Perhatikan bahwa IndexWritter bertanggung jawab untuk membuat indeks dan IndexSearcher untuk mencari indeks.

3.6. Sintaks Kueri

Lucene menyediakan sintaks kueri yang sangat dinamis dan mudah ditulis.

Untuk mencari teks bebas, kami hanya akan menggunakan String teks sebagai kueri.

Untuk mencari teks di bidang tertentu, kami akan menggunakan:

fieldName:text eg: title:tea

Pencarian rentang:

timestamp:[1509909322,1572981321] 

Kami juga dapat menelusuri menggunakan karakter pengganti:

dri?nk

akan menelusuri satu karakter sebagai pengganti karakter pengganti "?"

d*k

mencari kata yang dimulai dengan "d" dan diakhiri dengan "k", dengan beberapa karakter di antaranya.

uni*

akan menemukan kata-kata yang dimulai dengan "uni".

Kami juga dapat menggabungkan kueri ini dan membuat kueri yang lebih kompleks. Dan sertakan operator logika seperti AND, NOT, OR:

title: "Tea in breakfast" AND "coffee"

Lebih lanjut tentang sintaks kueri di sini.

4. Aplikasi Sederhana

Mari buat aplikasi sederhana, dan indeks beberapa dokumen.

Pertama, kita akan membuat indeks dalam memori, dan menambahkan beberapa dokumen ke dalamnya:

... Directory memoryIndex = new RAMDirectory(); StandardAnalyzer analyzer = new StandardAnalyzer(); IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer); IndexWriter writter = new IndexWriter(memoryIndex, indexWriterConfig); Document document = new Document(); document.add(new TextField("title", title, Field.Store.YES)); document.add(new TextField("body", body, Field.Store.YES)); writter.addDocument(document); writter.close(); 

Here, we create a document with TextField and add them to the index using the IndexWriter. The third argument in the TextField constructor indicates whether the value of the field is also to be stored or not.

Analyzers are used to split the data or text into chunks, and then filter out the stop words from them. Stop words are words like ‘a', ‘am', ‘is' etc. These completely depend on the given language.

Next, let's create a search query and search the index for the added document:

public List searchIndex(String inField, String queryString) { Query query = new QueryParser(inField, analyzer) .parse(queryString); IndexReader indexReader = DirectoryReader.open(memoryIndex); IndexSearcher searcher = new IndexSearcher(indexReader); TopDocs topDocs = searcher.search(query, 10); List documents = new ArrayList(); for (ScoreDoc scoreDoc : topDocs.scoreDocs) { documents.add(searcher.doc(scoreDoc.doc)); } return documents; }

In the search() method the second integer argument indicates how many top search results it should return.

Now let's test it:

@Test public void givenSearchQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Hello world", "Some hello world"); List documents = inMemoryLuceneIndex.searchIndex("body", "world"); assertEquals( "Hello world", documents.get(0).get("title")); }

Here, we add a simple document to the index, with two fields ‘title' and ‘body', and then try to search the same using a search query.

6. Lucene Queries

As we are now comfortable with the basics of indexing and searching, let us dig a little deeper.

In earlier sections, we've seen the basic query syntax, and how to convert that into a Query instance using the QueryParser.

Lucene provides various concrete implementations as well:

6.1. TermQuery

A Term is a basic unit for search, containing the field name together with the text to be searched for.

TermQuery is the simplest of all queries consisting of a single term:

@Test public void givenTermQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("activity", "running in track"); inMemoryLuceneIndex.indexDocument("activity", "Cars are running on road"); Term term = new Term("body", "running"); Query query = new TermQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(2, documents.size()); }

6.2. PrefixQuery

To search a document with a “starts with” word:

@Test public void givenPrefixQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("article", "Lucene introduction"); inMemoryLuceneIndex.indexDocument("article", "Introduction to Lucene"); Term term = new Term("body", "intro"); Query query = new PrefixQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(2, documents.size()); }

6.3. WildcardQuery

As the name suggests, we can use wildcards “*” or “?” for searching:

// ... Term term = new Term("body", "intro*"); Query query = new WildcardQuery(term); // ...

6.4. PhraseQuery

It's used to search a sequence of texts in a document:

// ... inMemoryLuceneIndex.indexDocument( "quotes", "A rose by any other name would smell as sweet."); Query query = new PhraseQuery( 1, "body", new BytesRef("smell"), new BytesRef("sweet")); List documents = inMemoryLuceneIndex.searchIndex(query); // ...

Notice that the first argument of the PhraseQuery constructor is called slop, which is the distance in the number of words, between the terms to be matched.

6.5. FuzzyQuery

We can use this when searching for something similar, but not necessarily identical:

// ... inMemoryLuceneIndex.indexDocument("article", "Halloween Festival"); inMemoryLuceneIndex.indexDocument("decoration", "Decorations for Halloween"); Term term = new Term("body", "hallowen"); Query query = new FuzzyQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); // ...

We tried searching for the text “Halloween”, but with miss-spelled “hallowen”.

6.6. BooleanQuery

Sometimes we might need to execute complex searches, combining two or more different types of queries:

// ... inMemoryLuceneIndex.indexDocument("Destination", "Las Vegas singapore car"); inMemoryLuceneIndex.indexDocument("Commutes in singapore", "Bus Car Bikes"); Term term1 = new Term("body", "singapore"); Term term2 = new Term("body", "car"); TermQuery query1 = new TermQuery(term1); TermQuery query2 = new TermQuery(term2); BooleanQuery booleanQuery = new BooleanQuery.Builder() .add(query1, BooleanClause.Occur.MUST) .add(query2, BooleanClause.Occur.MUST) .build(); // ...

7. Sorting Search Results

We may also sort the search results documents based on certain fields:

@Test public void givenSortFieldWhenSortedThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Ganges", "River in India"); inMemoryLuceneIndex.indexDocument("Mekong", "This river flows in south Asia"); inMemoryLuceneIndex.indexDocument("Amazon", "Rain forest river"); inMemoryLuceneIndex.indexDocument("Rhine", "Belongs to Europe"); inMemoryLuceneIndex.indexDocument("Nile", "Longest River"); Term term = new Term("body", "river"); Query query = new WildcardQuery(term); SortField sortField = new SortField("title", SortField.Type.STRING_VAL, false); Sort sortByTitle = new Sort(sortField); List documents = inMemoryLuceneIndex.searchIndex(query, sortByTitle); assertEquals(4, documents.size()); assertEquals("Amazon", documents.get(0).getField("title").stringValue()); }

Kami mencoba mengurutkan dokumen yang diambil berdasarkan kolom judul, yaitu nama sungai. Argumen boolean ke konstruktor SortField adalah untuk membalik urutan sortir.

8. Hapus Dokumen dari Indeks

Mari kita coba untuk menghapus beberapa dokumen dari indeks berdasarkan istilah tertentu :

// ... IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer); IndexWriter writer = new IndexWriter(memoryIndex, indexWriterConfig); writer.deleteDocuments(term); // ...

Kami akan menguji ini:

@Test public void whenDocumentDeletedThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Ganges", "River in India"); inMemoryLuceneIndex.indexDocument("Mekong", "This river flows in south Asia"); Term term = new Term("title", "ganges"); inMemoryLuceneIndex.deleteDocument(term); Query query = new TermQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(0, documents.size()); }

9. Kesimpulan

Artikel ini adalah pengantar singkat untuk memulai dengan Apache Lucene. Selain itu, kami menjalankan berbagai kueri dan mengurutkan dokumen yang diambil.

Seperti biasa, kode untuk contoh dapat ditemukan di Github.