Dashboard Violência Contra Mulheres – Parte 2 – Populando Dimensões do DW com Pentaho

Olá pessoal, nesta segunda parte do nosso artigo, iremos criar e popular um Data Warehouse para o nosso dashboard. Criaremos uma base de dados dimensional extraindo os dados do modelo anterior com o Pentaho Data Integration. Na Parte 1 demonstrei como extrair os dados a partir de uma fonte de dados utilizando web scraping, com ajuda do Python e preenchendo uma base de dados relacional com o PDI.  Continuar lendo Dashboard Violência Contra Mulheres – Parte 2 – Populando Dimensões do DW com Pentaho

Dashboard Violência Contra Mulheres – Parte 1 – Web Scraping com Pentaho e Python

Olá pessoal, depois de um tempo sem postagens estou voltando para mais artigos e tutorias, espero os comentários de vocês com sugestões de assuntos para abordar. Vou começar 2018 com um tema muito interessante: Web Scraping. Neste artigo vou apresentar uma solução para a extração de dados da Secretária de Segurança Pública do Estado de São Paulo sobre a Violência Contra Mulheres. Nesta primeira parte vou apresentar como realizar a extração dos dados da página da SSP/SP utilizando Python, e como automatizar este processo utilizando o Pentaho Data Integration, nosso conhecido PDI. Continuar lendo Dashboard Violência Contra Mulheres – Parte 1 – Web Scraping com Pentaho e Python

Caso de uso real do Pentaho Data Integration

Olá pessoal, hoje vou partilhar com vocês um caso real de aplicação do Pentaho Data Integration. Na empresa onde trabalho estivemos envolvidos em uma reformulação de uma integração entre sistemas, que foi implementada em Pentaho, onde ocorreram situações que devem ser bem comuns no dia-a-dia. É um excelente case para demonstrar a importância do planejamento em uma troca de plataforma e os cuidados que devem ser observados. Continuar lendo Caso de uso real do Pentaho Data Integration

ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 4

Olá! Finalmente chegamos a quarta, e última, parte deste tutorial, onde vamos trabalhar em conjunto transformações e jobs . Para você que não vem acompanhando o Blog a Parte 1 foi uma introdução do Pentaho, na Parte 2 recebemos dados de uma API Rest para salvar em uma planilha e na Parte 3 salvamos o mesmo resultado em uma tabela do MySQL. Nesta última parte vamos criar mais uma transformação, que irá carregar todas as cidades de um estado, através de dados recebidos da transformação criada anteriormente. Estas transformações serão orquestradas por um Job que controlará o fluxo de todo o processo. Vamos lá! Continuar lendo ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 4

ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 3

Olá, chegamos a terceira parte do tutorial, para você que ainda não viu a Parte 1 foi uma introdução do Pentaho Data Integration (PDI), já na Parte 2 começamos a colocar a mão-na-massa fazendo a extração de dados de uma API Rest para uma planilha. Agora o nosso objetivo é salvar estes dados em um SGBD, vou utilizar o MySQL neste exemplo, mas qualquer outro pode ser utilizado como o MariaDB, PostgreSQL, SQL Server, Oracle e etc. Além do Pentaho vamos utilizar uma ferramenta que vai facilitar (e muito!) nosso trabalho, o Docker! Vamos lá! Continuar lendo ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 3

ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 2

Olá! Neste artigo mostrarei como fazer uma extração simples de uma API Rest para o Pentaho. Vamos utilizar uma API do IBGE com informações de localidades do Brasil, além de ser aberta é muito bem documentada (quem dera todos dados do governo fossem assim), o que vai nos ajudar bastante . Este conjunto de dados é formado por: Regiões, Unidades da Federação, Mesorregiões, Microrregiões e Cidades. Continuar lendo ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 2

ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 1

O primeiro conteúdo do Blog será dedicado a uma ótima ferramenta utilizada para trabalhos de ETL, o Pentaho! Esta primeira parte será dedicada a uma explicação da ferramenta que vamos utilizar, o Pentaho Community, assim como algumas configurações básicas. Na Parte 2 irei mostrar como extrair os dados de uma API, em uma Transformação simples. A Parte 3 mostrará como persistir os dados extraídos em uma base de dados relacional e, por fim, na Parte 4 será realizada uma integração entre Transformações e um Job, compartilhando resultados entre elas. Vamos lá!  Continuar lendo ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 1

Apresentação

Meu objetivo com este espaço é contribuir com um pouco do conhecimento que adquiri ao longo da minha carreira e também aprender com dúvidas e discussões! Também quero partilhar sobre a importância dos dados e como transformar isso em algo relevante. Sou formado em Banco de Dados e com uma Pós-Graduação (não concluída) em Business Intelligence, é um assunto pelo qual me interesso muito!

Continuar lendo Apresentação