Dashboard Violência Contra Mulheres – Parte 1 – Web Scraping com Pentaho e Python

Olá pessoal, depois de um tempo sem postagens estou voltando para mais artigos e tutorias, espero os comentários de vocês com sugestões de assuntos para abordar. Vou começar 2018 com um tema muito interessante: Web Scraping. Neste artigo vou apresentar uma solução para a extração de dados da Secretária de Segurança Pública do Estado de São Paulo sobre a Violência Contra Mulheres. Nesta primeira parte vou apresentar como realizar a extração dos dados da página da SSP/SP utilizando Python, e como automatizar este processo utilizando o Pentaho Data Integration, nosso conhecido PDI. Continuar lendo Dashboard Violência Contra Mulheres – Parte 1 – Web Scraping com Pentaho e Python

ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 3

Olá, chegamos a terceira parte do tutorial, para você que ainda não viu a Parte 1 foi uma introdução do Pentaho Data Integration (PDI), já na Parte 2 começamos a colocar a mão-na-massa fazendo a extração de dados de uma API Rest para uma planilha. Agora o nosso objetivo é salvar estes dados em um SGBD, vou utilizar o MySQL neste exemplo, mas qualquer outro pode ser utilizado como o MariaDB, PostgreSQL, SQL Server, Oracle e etc. Além do Pentaho vamos utilizar uma ferramenta que vai facilitar (e muito!) nosso trabalho, o Docker! Vamos lá! Continuar lendo ETL – De uma API Rest para o MySQL utilizando Pentaho – Parte 3