Chercher dans un index

Langage de requêtes

Java Lucene et Zend_Search_Lucene fournissent des langages de requêtes plutôt puissants.

Ces langages sont pratiquement pareils, exceptées les quelques différences ci-dessous.

La syntaxe complète du langage de requêtes Java Lucene peut être trouvée » ici.

Termes

Une requête est décomposée en termes et opérateurs. Il y a 3 types de termes : le termes simples, les phrases et les sous-requêtes.

Un terme simple est un simple mot, tel que "test" ou "hello".

Une phrase est un groupe de mots inclus dans des double guillemets, tel que "hello dolly".

Une sous-requête est une requête incluse dans des parenthèses, tel que "(hello dolly)".

De multiples termes peuvent être combinés ensemble avec des opérateurs booléens pour former des requêtes complexes (voyez ci-dessous).

Champs

Lucene supporte les champs de données. Lorsque vous effectuez une recherche, vous pouvez soit spécifier un champ, soit utiliser le champ par défaut. Le nom du champ dépend des données indexées et le champ par défaut est défini par les paramètres courants.

La première différence et la plus significative avec Java Lucene est que par défaut les termes sont cherchés dans tous les champs.

Il y a deux méthodes statiques dans la classe Zend_Search_Lucene qui permettent au développeur de configurer ces paramètres :

  1. $defaultSearchField = Zend_Search_Lucene::getDefaultSearchField();
  2. ...
  3. Zend_Search_Lucene::setDefaultSearchField('contents');

La valeur NULL indique que la recherche est effectuée dans tous les champs. C'est le paramétrage par défaut

Vous pouvez chercher dans des champs spécifiques en tapant le nom du champ suivi de ":", suivi du terme que vous cherchez.

Par exemple, prenons un index Lucene contenant deux champs -title et text- avec text comme champ par défaut. Si vous voulez trouver le document ayant pour titre "The Right Way" qui contient le text "don't go this way", vous pouvez entrer :

  1. title:"The Right Way" AND text:go

or

  1. title:"Do it right" AND go

"text" étant le champ par défaut, l'indicateur de champ n'est pas requis.

Note: Le champ n'est valable que pour le terme, la phrase ou la sous-requête qu'il précède directement, ainsi la requête

  1. title:Do it right
ne trouvera que "Do" dans le champ 'title'. Elle trouvera "it" et "right" dans le champ par défaut (si le champ par défaut est défini) ou dans tous les champs indexés (si le champ par défaut est défini à NULL).

Jokers (Wildcards)

Lucene supporte les recherches avec joker sur un ou plusieurs caractères au sein des termes simples (mais pas dans les phrases).

Pour effectuez une recherche avec joker sur un seul caractère, utilisez le symbole "?".

Pour effectuez une recherche avec joker sur plusieurs caractères, utilisez le symbole "*".

La recherche avec un joker sur un seul caractère va faire correspondre le terme avec le "?" remplacé par n'importe quel autre caractère unique. Par exemple, pour trouver "text" ou "test" vous pouvez utiliser la recherche :

  1. te?t

Multiple character wildcard searches look for 0 or more characters when matching strings against terms. For example, to search for test, tests or tester, you can use the search:

  1. test*

You can use "?", "*" or both at any place of the term:

  1. *wr?t*
It searches for "write", "wrote", "written", "rewrite", "rewrote" and so on.

Starting from ZF 1.7.7 wildcard patterns need some non-wildcard prefix. Default prefix length is 3 (like in Java Lucene). So "*", "te?t", "*wr?t*" terms will cause an exception[1] Zend_Search_Lucene_Search_QueryParserExceptionZend_Search_Lucene_Exception.

It can be altered using Zend_Search_Lucene_Search_Query_Wildcard::getMinPrefixLength() and Zend_Search_Lucene_Search_Query_Wildcard::setMinPrefixLength() methods.

Term Modifiers

Lucene supports modifying query terms to provide a wide range of searching options.

"~" modifier can be used to specify proximity search for phrases or fuzzy search for individual terms.

Range Searches

Range queries allow the developer or user to match documents whose field(s) values are between the lower and upper bound specified by the range query. Range Queries can be inclusive or exclusive of the upper and lower bounds. Sorting is performed lexicographically.

  1. mod_date:[20020101 TO 20030101]
This will find documents whose mod_date fields have values between 20020101 and 20030101, inclusive. Note that Range Queries are not reserved for date fields. You could also use range queries with non-date fields:
  1. title:{Aida TO Carmen}
This will find all documents whose titles would be sorted between Aida and Carmen, but not including Aida and Carmen.

Inclusive range queries are denoted by square brackets. Exclusive range queries are denoted by curly brackets.

If field is not specified then Zend_Search_Lucene searches for specified interval through all fields by default.

  1. {Aida TO Carmen}

Fuzzy Searches

Zend_Search_Lucene as well as Java Lucene supports fuzzy searches based on the Levenshtein Distance, or Edit Distance algorithm. To do a fuzzy search use the tilde, "~", symbol at the end of a Single word Term. For example to search for a term similar in spelling to "roam" use the fuzzy search:

  1. roam~
This search will find terms like foam and roams. Additional (optional) parameter can specify the required similarity. The value is between 0 and 1, with a value closer to 1 only terms with a higher similarity will be matched. For example:
  1. roam~0.8
The default that is used if the parameter is not given is 0.5.

Matched terms limitation

Wildcard, range and fuzzy search queries may match too many terms. It may cause incredible search performance downgrade.

So Zend_Search_Lucene sets a limit of matching terms per query (subquery). This limit can be retrieved and set using Zend_Search_Lucene::getTermsPerQueryLimit()/Zend_Search_Lucene::setTermsPerQueryLimit($limit) methods.

Default matched terms per query limit is 1024.

Boosting a Term

Java Lucene et Zend_Search_Lucene fournissent le niveau de pertinence des documents basé sur les termes trouvés. Pour booster la pertinence d'un terme, utilisez le symbole circonflexe "^" avec un facteur de boost (un nombre) à la fin du terme que vous cherchez. Plus le facteur de boost est élevé, plus la pertinence du terme le sera.

Le boostage vous permet de contrôler la pertinence d'un document en boostant les termes individuellement. Par exemple, si vous cherchez

  1. PHP framework
et que vous voulez que le terme "PHP" soit plus pertinent, boostez le en utilisant le symbole ^ et son facteur de boost juste après le terme. Vous pourriez écrire :
  1. PHP^4 framework
Cela fera en sorte que les documents possédant le terme PHP seront plus pertinents. Vous pouvez également booster des phrases ou des sous-requêtes, comme dans l'exemple ci-dessous :
  1. "PHP framework"^4 "Zend Framework"
Par défaut, le facteur de boost est 1. Bien que le facteur de boost doive être positif, il peut être inférieur à 1 (p. ex. 0.2).

Opérateurs booléens

Les opérateurs booléens permettent de combiner des termes avec des opérateurs logiques. Lucene supporte AND, "+", OR, NOT et "-" en tant qu'opérateurs booléens. Dans Java Lucene, les opérateurs booléens doivent être en MAJUSCULE. Ce n'est pas nécessaire dans Zend_Search_Lucene.

Les opérateurs AND, OR et NOT et "+", "-" définissent deux styles différents pour construire des requêtes booléennes. Contrairement à Java Lucene, Zend_Search_Lucene ne permet pas de mixer ces deux styles.

Si le style AND/OR/NOT est utilisé, un opérateur AND ou OR devra être présent entre chaque terme de requête. Chaque terme peut également être précédé de l'opérateur NOT. L'opérateur AND à la priorité sur l'opérateur OR. Cela diffère du comportement de Java Lucene.

AND

L'opérateur AND signifie que tous les termes dans le "groupe AND" doivent correspondre à une partie du/des champs cherché(s).

Pour chercher des documents qui contiennent "PHP framework" et "Zend Framework", utilisez la requête :

  1. "PHP framework" AND "Zend Framework"

OR

L'opérateur OR divise la requête en plusieurs termes optionnels.

Pour chercher des documents qui contiennent "PHP framework" ou "Zend Framework", utilisez la requête :

  1. "PHP framework" OR "Zend Framework"

NOT

L'opérateur NOT exclut les documents qui contiennent le terme situé après NOT. Mais un "groupe AND" qui contient uniquement des termes précédés de NOT ne retournera aucun résultat au lieu de retourner tous les documents indexés.

Pour chercher des documents qui contiennent "PHP framework", mais pas "Zend Framework", utilisez la requête :

  1. "PHP framework" AND NOT "Zend Framework"

Les opérateurs &&, ||, et !

&&, ||, et ! peuvent être utilisés à la place de la notation AND, OR, et NOT.

+

L'opérateur "+" ou 'requis' stipule que le terme après le symbole "+" doit correspondre au document.

Pour chercher des documents qui doivent contenir "Zend" et peuvent contenir "Framework", utilisez la requête :

  1. +Zend Framework

-

L'opérateur "-" ou 'interdit' exclut les documents qui correspondent au terme suivant le symbole "-".

Pour chercher des documents qui contiennent "PHP framework" mais pas "Zend Framework", utilisez la requête :

  1. "PHP framework" -"Zend Framework"

Pas d'opérateur

Si aucun opérateur n'est utilisé, le comportement de la recherche est définit par "l'opérateur booléen par défaut".

Il est défini à OR par défaut.

Cela implique que chaque terme est optionnel par défaut. Il peut être présent ou pas dans le document, mais les documents avec le terme recevront un score plus élevé.

Pour chercher des documents qui doivent contenir "PHP framework" et peuvent contenir "Zend Framework", utilisez la requête :

  1. +"PHP framework" "Zend Framework"

L'opérateur booléen par défaut peut être défini ou récupéré avec les méthodes Zend_Search_Lucene_Search_QueryParser::setDefaultOperator($operator) et Zend_Search_Lucene_Search_QueryParser::getDefaultOperator(), respectivement.

Ces méthodes travaillent avec les constantes Zend_Search_Lucene_Search_QueryParser::B_AND et Zend_Search_Lucene_Search_QueryParser::B_OR.

Groupement

Java Lucene et Zend_Search_Lucene supportent l'usage de parenthèses pour grouper des clauses et former des sous-requêtes. Cela peut s'avérer utile si vous voulez contrôler la priorité des opérateurs logiques pour une requête ou bien mixer différents styles de requête :

  1. +(framework OR library) +php
Zend_Search_Lucene supporte l'imbrication de requêtes à n'importe quel niveau.

Groupement de champs

Lucene supporte également l'usage des parenthèses pour grouper plusieurs clauses sur un simple champ.

Pour chercher un titre (champ 'title') qui contient le mot "return" ET la phrase "pink panther", utilisez la requête :

  1. title:(+return +"pink panther")

Echappement des caractères spéciaux

Lucene supporte l'échappement des caractères spéciaux qui sont utilisés dans la syntaxe de requête. La liste des caractères spéciaux est la suivante :

+ - && || ! ( ) { } [ ] ^ " ~ * ? : \

dans les termes simples, + et - sont automatiquement traités comme des caractères normaux.

Pour d'autres occurences de ces caractères, utilisez le \ avant chaque caractère spécial si vous voulez l'échapper. Par exemple, pour chercher (1+1):2, utilisez la requête :

  1. \(1\+1\)\:2

[1]Please note, that it's not a , but a . It's thrown during query rewrite (execution) operation.

Chercher dans un index