Jogando os dados.... ou melhor, preparando!

Por -
Os dados de uma organização podem estar armazenados das mais diferentes formas imagináveis. Podem estar em um banco de dados, planilhas eletrônicas, arquivos de texto e até documentos físicos... Então como podemos comparar bananas com laranjas? De fato, se fizermos isso diretamente iremos gerar informações incorretas ou imprecisas.

Então, o que fazer? Talvez transformar tudo em maçãs... eu sei, está ficando um pouco confuso, mas é isso que faz o ETL (do inglês Extract, Transform, Load), assunto já abordado em outro post aqui no blog. Agora, vamos ver uma ferramenta para integração de dados: Pentaho Data Integration (PDI).

Fonte: www.infoq.com/br/articles/pentaho-pdi
O Pentaho DI, anteriormente chamado de Kettle, é um dos software do pacote Pentaho Open Source Business Intelligence. A plataforma Pentaho inclui diversas ferramentas para suporte à tomada de decisão: data warehouse, mineração, integração e análise de dados, além de ferramentas para gerência.

O Pentaho DI é específico para o processo de ETL, permitindo a extração dos dados de diversas fontes de origem, transformação (limpeza e preparação) dos dados e gravação em data warehouse, até entrega à outros sistemas ou mesmo à outros componentes da plataforma Pentaho.

Instalando o Pentaho DI...

A ferramenta está disponível nas versões Enterprise e Community, que está em sua versão 8.2 e pode ser obtida aqui. As funcionalidades disponíveis na versão Community são suficientemente satisfatórias para implementações bastante eficientes, além de contar com inúmeros plugins que agregam novas funcionalidades.

O único pré-requisito para utilização do Pentaho DI é ter uma máquina virtual Java instalada. No mais, é tudo muito simples. Você pode fazer o download da versão mais recente no Source Forge, em seguida descompacte todos os arquivos para uma pasta da sua escolha. Pronto! Basta localizar e executar o arquivo spoon.sh diretamente ou através do prompt de comando, digitando ./spoon.sh.

Conhecendo o Pentaho DI...

Podemos dividir o Pentaho DI em 05 (cinco) partes:
  • Step: é a transformação que opera sobre os dados. Podendo ser:
    • Leitura de dados de diversos tipos de fontes;
    • Seleção de campos específicos;
    • Concatenação de campos distintos;
    • Divisão de campos gerando dois ou mais novos campos;
    • Merge de dados;
    • Aplicação de expressões regulares.
  • Job: é uma sequência de operações. Permite combinar step em uma fluxo específico, automatizando uma dada tarefa.
  • Spoon: é a interface gráfica que apoia o usuário na definição do fluxo de ETL. Através do spoon é que os step são modelados e os job projetados.
  • Pan: é o programa que executa steps modelados no spoon.
  • Kitchen: é o programa que executa job projetados no spoon.

Fonte: www.infoq.com/br/articles/pentaho-pdi



Com essa pequena introdução, recomendamos que vocês aprofundem o conhecimento através da wiki da Pentaho, onde vocês podem encontrar uma documentação vasta sobre essa poderosa ferramenta.


“May the Force be with you” (Obi Wan Kenobi)


Fontes

https://www.alooma.com/answers/what-is-pentaho-data-integration
https://sourceforge.net/projects/pentaho/
https://www.infoq.com/br/articles/pentaho-pdi
https://wiki.pentaho.com

Comentários

Postar um comentário

Postagens mais visitadas deste blog

KPI... KP o quê?

Por -
Imagem
“Namastê!” Estive pensando e, após me recuperar da dor de cabeça que isso me causou, cheguei a conclusão que tão importante quanto saber o que é um Dashboard ,  é decidir quais as informações devem ser incluídas nele. Ainda que você saiba todos os Tipos de Dashboard  e domine as Ferramentas de Dashboard  mais fantásticas, será necessário ter total consciência de qual conteúdo deve ser apresentado no painel. Se quisermos construir um Dashboard realmente eficiente e útil, temos que identificar quais as informações devem realmente ser mostradas. Os indicadores relevantes para uma determinada organização são denominados KPI (do inglês Key Performance Index ). Pode-se dizer que KPI é uma ferramenta de gestão utilizada para medir a performance de uma determinada ação ou processo. Os KPI podem ser categorizados como indicadores de produtividade , qualidade , capacidade ou estratégicos . Não existe um normativo ou método consolidado para definição do
Leia mais

"Nada se cria, tudo se"...

Por -
Imagem
Bazinga! Uma boa maneira de entender melhor algo novo é utilizar engenharia reversa , olhar o que os outros fazem para fazer igual mas diferente, ou melhor... Afinal, já dizia Lavoisier : “Nada se cria, tudo se copia”... não, pera, quem dizia isso era o Abelardo Barbosa (Dá uma googlada, caso você seja muito novo para saber quem é). O bizu é dar uma olhada no que já foi feito pelos outros, sempre analisando criticamente o que estamos observando e pinçar as propriedades que mais se aplicam à solução do nosso problema. Então vamos dar uma olhada no Painel Estatístico de Pessoal , com os números do Poder Executivo Federal , mantido pelo Ministério da Economia, Planejamento, Desenvolvimento e Gestão ( MEPDG ). O acesso é simples e disponível para qualquer pessoa. Logo na página inicial temos alguma coisa que se parece com um  Dashboard , mas de fato pode ser considerado um? Conceitualmente,  Dashboard  é um painel visual onde está presente um conjunto de informações, qu
Leia mais

Tipos de Dashboard

Por -
Imagem
Agora que entendemos do que se trata um dashboard , é hora de conhecer as suas tipificações e finalidades. No atual cenário de mercado, cada vez mais diversificado e concorrido, a busca por constante desenvolvimento e inovação tornou-se uma prática fundamental para sobrevivência das organizações. Essa procura por avanços possibilitou a ampliação da criação e do uso de métodos de gestão de negócios,  por exemplo,   com o  business intelligence , que é um processo de autoconhecimento, onde   as empresas coletam, analisam e monitoram informações que oferecem suporte as suas tomadas de decisão; e é para isso que são utilizados os dashboards . Em sua totalidade no meio organizacional, os dashboards são subdivididos em três tipos: Estratégicos, táticos ou analíticos e operacionais; onde as suas variações são definidas de acordo com a finalidade, o tipo de dados, o tipo de usuário e a área em questão analisada. A seguir as definições de cada tipo de dashboard : - Dashbo
Leia mais