A Mónica de Oliveira é Data Integration Consultant na PrimeIT há mais de um ano e meio. Apesar de se ter licenciado em Engenharia Civil, apaixonou-se pelo mundo dos dados e encontra-se actualmente a fazer um mestrado em Gestão da Informação com especialização em Gestão do Conhecimento e Business Intelligence na Universidade Nova de Lisboa. Hoje, vem explicar-nos a importância de uma boa integração de dados:

“Já paraste para pensar como é que as grandes empresas são capazes de processar quantidades avultadas de dados, e relacioná-los de maneira a gerar análises de alto valor para o desenvolvimento e crescimento empresarial?

Uma peça de extrema importância para completar este quebra-cabeças é a integração de dados. Este processo permite garantir a disponibilidade dos dados no tempo, local e formato correctos, de forma segura, e de acordo com o que foi solicitado. Desta forma, os dados podem deslocar-se entre diversas fontes, aplicações, sistemas e estruturas, mantendo sempre as informações consolidadas.

A disponibilidade dos dados para todos os serviços e sistemas é fundamental para a gestão da informação do empreendimento e para a tomada de decisões – com base em informação histórica, limpa, consolidada e de múltiplas fontes. Com o aumento, tanto em quantidade como em diversidade, do formato de dados, o processo de integração surge como uma importante etapa na metodologia de inteligência do negócio. Esta técnica permite que dados de múltiplas fontes e tipos sejam representados num formato comum, após passarem por transformações e combinações para atingirem uma estrutura definida.

A realização de um processo de integração de dados eficiente aumenta a consistência e transparência dos mesmos, e permite a criação rápida de relatórios de acordo com os padrões e necessidades do negócio, sendo muito útil também na identificação de problemas na qualidade da própria informação. Um procedimento comum para a realização da integração de dados é o chamado ETL. ETL é um acrónimo para as palavras em inglês “Extract, Transform and Load”.

Vamos lá ver melhor o que cada etapa significa?

Extract

A extracção dos dados das fontes pode ser feita, por exemplo, com a recepção dos ficheiros (csv, xml, txt, etc.) a serem tratados ou a recolha numa base de dados, nomeadamente através de uma query com condições especificadas.

Transform

Nesta etapa, os dados oriundos das fontes são modificados para respeitarem regras, requisitos e estruturas definidos com a equipa de negócio e usuários finais, tornando-os mais consistentes.

Pode ser feito um mapeamento simples ou incluir também processos como agregações, derivações, filtros, padronizações, mudanças de formato, uso de lookups e regras condicionais.

Também é importante acrescentar processos de validação de dados, como por exemplo, a verificação se o campo de número de telemóvel contém apenas algarismos – e a quantidade correcta de caracteres -, ou se a data de uma transacção já realizada não é uma data futura. Pode ser criado também um processo que identifique os erros existentes e que origine um novo ficheiro com essas informações.

Load

O carregamento dos dados tratados para o usuário final pode ser realizado num novo ficheiro ou usando uma base de dados, por exemplo. Podem ser carregados apenas os registos novos/alterados (incremental load) ou todos os registos (full load). Ao criar um processo de integração de dados, devem ser discutidos alguns pontos entre as equipas envolvidas. É preciso definir e deixar registadas na documentação as etapas do processo, quais são os input/outputs de cada actividade, a periodicidade, como gerir a recuperação (em caso de falhas) e os detalhes sobre o arquivamento dos ficheiros.

Em conclusão, o desenvolvimento de processos de integração de dados com qualidade permite-nos reduzir custos e tempo de processamento, de forma a garantir que a informação seja utilizada com maior facilidade, segurança e rapidez, trazendo benefícios à empresa.”

Mónica Oliveira

Data Integration Consultant