INDEXAÇAO

A indexação de Hultig-C começou em janeiro de 2017, com suporte às funcionalidades do OpenWebSpider.

OpenWebSpider é uma web Spider (também conhecido como Tracker ou Web Robot) e um motor de busca, é um programa que navega de forma autónoma em sites da Web, lendo suas páginas e outras informações para criar entradas para um índice de motor de busca.

Esses programas são chamados de aranhas, porque eles visitam muitos sites em paralelo e ao mesmo tempo, abrangendo uma grande área Web, a partir de uma URL e expandindo a leitura através das subpáginas e hiperlinks presentes na URL, criando um banco de dados que permite uma subsequente busca por expressões existentes nos sites visitados; Ou seja, eles visitam websites, seguem links em páginas e registram os dados desses links de cada página visitada, para facilitar a indexação em um banco de dados e a associação de mecanismos de pesquisa.

Possibilitando assim a recuperação automática de dados da Web e atualizando o banco de dados, facilitando a indexação do conteúdo baixado, promovendo assim pesquisas mais rápidas.

Através do OpenWebSpider, é possível, por exemplo, indexar um site e saber quantas vezes e em que lugar um determinado termo aparece. Uma opção rudimentar para este mecanismo seria buscar manualmente, página a página, o termo pesquisado, o que poderia levar a exaustão e aquisição de resultados poucos eficientes.

OpenWebSpider usa GNU General Public license (GPL) e todos os softwares livres (gcc, MySQL, Apache, and PHP). As plataformas onde o OpenWebSpider é testado são: Windows e Linux. Muitas vezes é possível compilá–lo em outras plataformas, mas não é oficialmente suportado.

Para obter mais informações, visite a Página Web www.openwebspider.org.