Arquitetura de Software • Nathan Geeksman

Como implementar search full-text com Elasticsearch

O desenvolvimento de software moderno exige uma experiência de usuário cada vez mais personalizada e relevante. Uma das principais ferramentas para alcançar esse objetivo é a capacidade de fornecer resultados precisos e relevantes em tempo real, especialmente quando se trata de buscas full-text.

O desenvolvimento de software moderno exige uma experiência de usuário cada vez mais personalizada e relevante. Uma das principais ferramentas para alcançar esse objetivo é a capacidade de fornecer resultados precisos e relevantes em tempo real, especialmente quando se trata de buscas full-text.

Nesse contexto, o Elasticsearch emergiu como um dos principais motores de busca open-source capazes de lidar com essas demandas. Com sua arquitetura escalável e flexível, o Elasticsearch é frequentemente utilizado para a implementação de sistemas de busca personalizados que podem ser integrados facilmente em aplicações web e móveis.

Neste artigo, vamos abordar as etapas para implementar um sistema de busca full-text usando o Elasticsearch. Cobriremos desde os pré-requisitos até a configuração do índice, indexação dos dados e construção de consultas avançadas. Ao final da leitura, você estará em condições de criar uma solução eficaz para sua própria aplicação.

Vamos explorar passo a passo como configurar o Elasticsearch para atender às necessidades específicas do seu projeto.

A motivação por trás da implementação

O Elasticsearch é um motor de busca open-source projetado para lidar com grandes conjuntos de dados e fornecer resultados precisos em tempo real. Ele utiliza uma abordagem baseada em índices, onde os dados são organizados em estruturas denominadas índices, que permitem a busca eficiente através desses dados.

A motivação por trás da implementação do Elasticsearch é resolver problemas relacionados à escala e à performance nos sistemas de busca. Com o crescimento exponencial dos dados, os métodos tradicionais de busca começam a falhar em fornecer resultados relevantes em tempo real. O Elasticsearch resolve essas dificuldades ao:

  • Indexar rapidamente grandes volumes de dados: Em segundos ou minutos, os índices podem ser criados e atualizados com milhões de documentos.
  • Fornecer consultas precisas e rápidas: Com o uso de técnicas avançadas como análise de linguagem natural e pesquisa de texto completo, o Elasticsearch permite a busca por frases, palavras e conceitos dentro dos documentos.
  • Escalar facilmente com clusters de servidores: Os índices podem ser distribuídos em vários servidores, aumentando a capacidade de processamento e suportando uma grande demanda de consultas.

Além disso, o Elasticsearch é altamente personalizável através da definição de mapeamentos de documentos, que permitem controlar como os dados são indexados. Isso permite a criação de índices customizados para atender às necessidades específicas do seu projeto.

O 'motor' interno da ferramenta

O funcionamento interno do Elasticsearch é baseado em uma série de etapas e conceitos que permitem a indexação, busca e recuperação eficientes dos dados. Aqui está um resumo das principais atividades realizadas pelo Elasticsearch:

  • Indexação: O processo de indexação envolve a leitura dos dados dos sistemas fonte, transformação desses dados em formatos de documento JSON e o armazenamento desses documentos em índices do Elasticsearch.
  • Análise léxica: Durante o processo de indexação, os dados são sujeitos a uma análise léxica que identifica as palavras-chave e tokeniza as frases para facilitar a busca por textos relevantes. Isso inclui processos como stemmatização (também conhecida como lematização), onde as formas verbais variadas de um termo são mapeadas para sua forma raiz.
  • Armazenamento: Os índices do Elasticsearch armazenam os documentos que foram indexados, permitindo a busca eficiente por textos e palavras-chave. Cada índice pode ser configurado independentemente para atender às necessidades específicas de cada aplicação ou sistema.

Essas etapas permitem que o Elasticsearch execute consultas precisas e rápidas sobre grandes volumes de dados, tornando-o uma ferramenta essencial em sistemas de busca escaláveis.

Aplicabilidade

Aqui está um exemplo de como implementar search full-text com Elasticsearch em uma aplicação Java Spring Boot.

Suponha que você tenha uma base de dados contendo informações sobre livros, como título, autor e resumo do livro. Você deseja criar uma interface de busca que permita aos usuários procurar por livros com base no título ou na descrição.

Configurando o Elasticsearch

Para começar, é necessário configurar o Elasticsearch em sua aplicação Java Spring Boot. Adicione a dependência abaixo ao seu arquivo pom.xml (se estiver usando Maven):

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

Mapeamento dos documentos

Para mapear os documentos da base de dados para o Elasticsearch, você precisa criar uma classe que represente o documento. Por exemplo:

// livro.java
@Entity
public class Livro {
    
    @Id
    private String id;
    
    private String titulo;
    
    private String autor;
    
    private String resumo;
    
    // getters e setters
    
}

Em seguida, crie uma classe que represente o índice do Elasticsearch:

// livro-elasticsearch.java
public class LivroElasticsearch {
    
    @Field(type = FieldType.Text, analyzer = "brportuguese")
    private String titulo;
    
    @Field(type = FieldType.Text, analyzer = "brportuguese")
    private String autor;
    
    @Field(type = FieldType.Text, analyzer = "brportuguese")
    private String resumo;
    
    // getters e setters
    
}

Indexação dos documentos

Para indexar os documentos da base de dados no Elasticsearch, você pode usar a anotação @Document em conjunto com a classe LivroElasticsearch. Além disso, é necessário criar um serviço que faça a indexação:

// livro-service.java
@Service
public class LivroService {
    
    @Autowired
    private ElasticsearchTemplate elasticsearchTemplate;
    
    public void indexarLivros() {
        List<Livro> livros = livroRepository.findAll();
        
        for (Livro livro : livros) {
            LivroElasticsearch livroElasticsearch = new LivroElasticsearch(
                livro.getTitulo(),
                livro.getAutor(),
                livro.getResumo()
            );
            
            elasticsearchTemplate.index(livroElasticsearch);
        }
    }
    
}

Consultas de busca

Para consultar os livros com base no título ou na descrição, você pode usar a classe SearchQuery do Elasticsearch. Além disso, é necessário criar um serviço que faça as consultas:

// livro-service.java (continuação)
public List<Livro> buscarLivrosPorTitulo(String titulo) {
    SearchQuery searchQuery = new NativeSearchQueryBuilder()
        .withQuery(QueryBuilders.matchQuery("titulo", titulo))
        .build();
    
    return elasticsearchTemplate.queryForList(searchQuery, LivroElasticsearch.class);
}

Essa é uma exemplo simples de como implementar search full-text com Elasticsearch em uma aplicação Java Spring Boot. Lembre-se de que você pode personalizar as configurações e os mapeamentos para atender às necessidades específicas do seu projeto.

// outros métodos de busca podem ser adicionados aqui, como buscarLivrosPorAutor() etc.

Note que essa é uma implementação básica e você provavelmente precisará adicionar mais funcionalidades e ajustes para atender às necessidades específicas da sua aplicação.

Dicas de como implementar

Mapeamento dos campos

  • Certifique-se de que os mapeamentos das classes LivroElasticsearch estejam alinhados com as necessidades específicas da sua aplicação, considerando os tipos de dados e a frequência de busca dos campos.
  • Utilize a anotação @Field(type = FieldType.Text) para mapear os campos de texto, como o título e o autor, permitindo que o Elasticsearch realize consultas com base em padrões de texto.

Índices e aliases

  • Crie índices separados para diferentes tipos de dados ou categorias de objetos, caso necessário.
  • Utilize aliases para fornecer um nome uniforme para acessar vários índices relacionados.

Monitoramento e ajustes de desempenho

  • Configure os indicadores de desempenho do Elasticsearch (por exemplo, search.query_time_in_millis) para monitorar o tempo de resposta das consultas.
  • Ajuste as configurações do Elasticsearch e as implementações da consulta para otimizar o desempenho em ambientes de alta carga.

Armadilhas comuns

Mapeamento insuficiente

  • Risco: Consultas não retornam resultados esperados ou índices ficam inacessíveis.
  • Consequência: Reestruturação do mapeamento pode ser necessária, resultando em tempo perdido e custos adicionais.

Índices com nome muito longo

  • Risco: Problemas de desempenho ou limitações no tamanho do nome do índice podem ocorrer.
  • Consequência: Aumento do uso de recursos ou necessidade de reestruturação da base de dados.

Dados não atualizados

  • Risco: Consultas retornam resultados obsoletos, afetando a precisão das informações.
  • Consequência: Necessidade de implementar estratégias de integração mais robustas para garantir a consistência dos dados.

O que foi aprendido?

Ao implementar um search full-text com Elasticsearch, é fundamental considerar os tipos de dados e a frequência de busca dos campos para obter resultados precisos e eficientes.

Para evitar armadilhas comuns, é crucial realizar o mapeamento adequado dos dados, utilizando anotações corretas para cada tipo de dado. Além disso, ao trabalhar com índices e aliases, é importante garantir que os nomes sejam claros e concisos.

O monitoramento do desempenho e ajuste das configurações são fundamentais para manter o desempenho ótimo em ambientes de alta carga. É crucial realizar testes regulares e ajustar as implementações da consulta conforme necessário.

Para aprofundar seu conhecimento, é recomendável explorar as seguintes áreas:

  • Ajuste de parâmetros do Elasticsearch para otimizar o desempenho.
  • Implementação de estratégias de integração para garantir a consistência dos dados.
  • Análise de indicadores de desempenho para identificar oportunidades de melhoria.

Referências

  • Kibana - Getting started with search in Kibana. Disponível em: <https://www.elastic.co/guide/en/kibana/current/search.html>. Acesso: 2024.
  • Martin Fowler - Search and Indexing. Disponível em: https://martinfowler.com/eaaCatalog/searchAndIndexing.html. Acesso: 2024.
  • Elasticsearch documentation - Query DSL. Disponível em: <https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html>. Acesso: 2024.
  • ThoughtWorks - Patterns of Enterprise Application Architecture - Chapter 12 - Indexing and Searching. Disponível em: https://www.thoughtworks.com/insights/blog/patterns-enterprise-application-architecture-chapter-12-indexing-and-searching. Acesso: 2024.
  • Elasticsearch documentation - Index Management. Disponível em: <https://www.elastic.co/guide/en/elasticsearch/reference/current/index-management.html>. Acesso: 2024.