Certificado do curso no SAS Institute Brasil

 

Formação em Data Science pela Alura e WomakersCode

 

Aplicações de Estatística e Inteligência Artificial para o Agronegócios na FIA LABDATA

 

LGPD e Privacidade com WomarkersCode

 

Curso Git & Git Hub

 

Preparatório para a Certificação Microsoft Azure Fundamentals (AZ‐900)

 

Desafio de Habilidades de Nuvem Mais Mulheres Tech Azure Fundamentals Abril

 

Análise de Dados para Tomada de Decisão na FIA

 

Introdução a Cloud Computing & Fundamentos do Azure

 

Os desafios de implantar um Data Warehouse nos dias atuais

 Professor: Edcleisson Zanardi

Disciplina: Processo de ETL em um Data Warehouse

Aula: Juliana Tourrucoo Alves

Novembro de 2020 -  

 

Quanto tempo diretores e executivos das principais corporações levaram para chegar à decisão de criar um Data Warehouse (DW)? Sem dúvida, gasta-se bastante tempo e esse tempo é valioso. Em vários casos não é porque a empresa prima por metodologias de planejamento para introdução de novos processos.  E sim porque há líderes, ainda que de forma discreta, que subestimam o investimento, a função e a eficiência de um DW como uma ferramenta de apoio nas tomadas de decisões. 

 

“Normalmente, a maior parte das empresas não sabe como transformar os dados coletados e existentes em conhecimento. Isso acontece porque nem todas as empresas mantêm as informações organizadas de forma consistente e confiável”. (Machado). 

 

Naturalmente, a implantação de um DW gera muitas dúvidas.  Há executivos que também percebem que o DW mudará sua rotina de trabalho. E quem não tem medo do novo? Poucos.

A melhor forma de conter esse temor é com informação. Portanto, o primeiro ponto que os diretores de uma empresa, como os da Seguradora de Saúde da N1, precisam ter em mente é que o DW é uma arquitetura, não uma tecnologia. (Machado). 

 

       “Há várias ideias, opiniões, definições, conceitos e ferramentas para criação e manutenção de um Data Warehouse, mas é importante ressaltar que não existe nenhum Data Warehouse pronto para ser utilizado sem um trabalho anterior de levantamento de necessidades da empresa e de seus executivos. Consequentemente, o conceito de Data Warehouse exige estudo e envolvimento da empresa e de seus executivos na definição e construção dessa base de dados de utilização corporativa”. (Machado)

 

Outro ponto importante para dar forma ao DW? Será essencial chamar uma equipe de Tecnologia da Informação (TI) junto a um time de BI (Business Intelligence). Em conjunto, eles vão implantar um robusto armazém de dados e unificá-lo a uma ferramenta de ETL (Extract Transform Load), como o Power BI da Microsoft ou Oracle Warehouse Builder da Oracle entre outras opções de marcas existentes no mercado.  Cabe a esses softwares as funções de: extração, transformação e carregamento - a tríade que dá forma a um DW. 

 

O BI deverá configurar a ferramenta para ela ter a capacidade de expor não apenas os dados, mas fornecer sobretudo relatórios de análise, que possam auxiliar os gestores na melhor tomada de decisão para a empresa. Por isso, essa ferramenta é configurada para ter uma interface amigável tendo o objetivo de facilitar a visualização dos cruzamentos de dados.  

 

Outra característica do DW é a sua formatação. O DW é um banco de dados não volátil, ou seja, um repositório digital no qual não se modifica e nem se exclui dados depois de serem inseridos. “Além disso, permite atualizações periódicas e contém dados atuais e históricos para fornecer informações do fluxo do negócio no tempo” (Varago).

 

Não é uma regra, mas em geral, os dados históricos.  São dados que identificam sobretudo o perfil dos leads (cadastros), o comportamento de compra da sua base de clientes, os produtos mais vendidos e as sazonalidades.   

 

Como todo novo processo, a implantação do DW jamais deve ser feita de forma imediatista. Antes que os dados sejam integrados a uma ETL, é necessário criar um ambiente de teste justamente para que os dados principalmente da ferramenta de CRM (Customer Relationship Management) possam ser limpos e padronizados. É a hora de eliminar informações duplicadas ou desnecessárias. “Muitas soluções ainda são independentes, mas procedimentos de data quality podem agora ser executados como uma das transformações no processo de data integration”. (Ciferri)

 

Image 1: fonte Ciferri

Nessa etapa pode já ser criada também uma identificação para cada registro, a chamada chave primária (Primary Key). Ao definir um campo como sendo uma chave primária, cria-se uma métrica no banco de dados para coibir a existência de dois registros com o mesmo valor. (Brandão) 

 

“Por exemplo, se definirmos o campo “Número do CPF” da tabela Clientes como sendo uma chave primária, estamos dizendo ao banco de dados que não podem existir dois clientes com o mesmo valor no campo “Número do CPF”. Isso é fundamental! (Brandão) 

 

Com o banco organizado, chega a hora de dar forma ao seu DW. Hoje temos vários métodos de armazenamento e análise como dito acima, mas sempre será preciso de alguma forma trabalhar com banco de dados relacional. (Brandão)

 

“O banco de dados relacional permite que a informação fique estruturada, em um padrão pré-definido já conhecido por todos, no formato linhas e colunas, onde campos são preenchidos para alimentar tabelas com os seus dados. A melhor forma de armazenar dados é através de uma tabela. Lembrando que um conjunto de tabelas formam um banco de dados. As tabelas são formadas por linhas e colunas. As colunas representam um atributo da informação e as linhas representam o valor do atributo. Juntos formam os registros. (Brandão)

Na etapa de definição da metodologia do DW, sua construção pode seguir duas abordagens distintas: top-down ou bottom-up. (Varago).

 

·         Top-down trabalha com levantamento de todos os requisitos, fontes de dados e padrões dos setores da empresa, para, então, dar sequência à implementação de toda a estrutura. Vantagens: uma única base de dados homogênea e integrada. Desvantagens: o alto custo e tempo de implementação. (Varago)

 

·         Bottom-up faz análise dos requisitos de forma global, da qual surgem uma lista de Data Marts a serem implementados e a forma como serão integrados. Desvantagem: falta de padronização dos Data Marts, gerando redundância dos dados e resultando em dados inconsistentes, devido a diferentes representações das fontes de dados. Essa questão traz entraves à integração da base. (Varago).

Imagem 2: fonte Ciferri

 

outro desafio importante em um projeto de DW diz respeito ao armazenamento de dados em conformidade com a Lei Geral de Proteção de Dados [Brasil 2018]. Essa Lei é baseada no Regulamento Geral sobre a Proteção de Dados 2016/679 (RGPD, ou, como é mais conhecida em inglês, GDPR - General Data Protection Regulation), elaborado pela União Europeia. A Lei obriga organizações a seguirem uma série de itens quanto à coleta, ao tratamento e à proteção dos dados pessoais.

 

“A maioria das organizações armazena os dados pessoais coletados dos clientes em Sistemas de Gerenciamento de Banco de Dados (SGBD). Dessa forma, é necessário saber como e o quanto as empresas detentoras dos principais SGBDs comerciais estão preparadas para dar suporte à implantação de estratégias da LGPD de forma eficaz e eficiente”. (Almeida, Verona, Campos e Baião)

 

Conclusão 

 

Como a  arquitetura do Data Warehouse inclui, além de estrutura de dados, mecanismos de comunicação, processamento e apresentação  da informação para o usuário final, seria recomendado  a formação de um Business Intelligence Competency Center (BICC).

Esse centro teria o objetivo de melhorar o desenvolvimento e focar os recursos necessários para o projeto ter sucesso com Business Intelligence. Caberá ao BICC criar os planos estratégicos e as prioridades de BI além de  define as exigências, incluindo dados de qualidade e gestão. Ele também auxiliaria os executivos na interpretação e aplicação das decisões de negócio. (Machado) 

 

Como a tendência para o futuro é que cada vez mais os negócios estejam apoiados em DW (como ou sem Big Data), o profissional de BI conhecimento em DW é cada vez mais primordial não apenas para diminuir custos, mas para criar padrão de eficiência, com mais rentabilidade em novos negócios. 

Bibliografia

 

livros

TAURION, Cezar. Big Data. Rio de Janeiro: Brasport, 2013.

MACHADO, Felipe Nery Rodrigues.  Tecnologia e projetos de Data Warehouse: uma Visão Multidimensional. 6. ed. São Paulo. Editora Érica, 2013

 

Vídeos

CANAL TI, Data Warehouse (O que é, características, exemplo). Youtube, out. 2019. Disponível em: https://www.youtube.com/watch?v=BLAa9hO-H3s. Acesso em: 11 nov. 2020.

 

Artigos

VARAGO, Anderson. Processo de Etl em um  Data Warehouse, Roteiro de Estudos.

Disponível em: https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller. Acesso em: 13 nov. 2020.

 

HADDAD, Renato. 10 motivos para adotar o Power BI

Disponível em https://imasters.com.br/data/10-motivos-para-adotar-o-power-bi

Acesso em: 12 nov. 2020

BRANDÃO, Robson.  O que é Banco de Dados Relacional

Disponível em https://www.datainsiders.com.br/post/o-que-e-um-banco-de-dados-relacional

Acesso em: 10 nov. 2020

 

ALMEIDA, A. C. B, VERONA, l.D, CAMPOS, M.L.M, BAIÃO,F. A.

LGPD em Ambientes de Bancos de Dados nas Organizaçõe, Ana Carolina Brito de  Almeida, Letícia Dias Verona, Maria Luiza Machado Campos e Fernanda Araujo Baião

Disponível em https://sol.sbc.org.br/livros/index.php/sbc/catalog/download/39/163/333-1?inline=1

Acesso em: 11 nov. 2020

 

Ciferri, Cristina Dutra de Aguiar e Ciferri, Ricardo Rodrigues 

Data Warehousing: Conceitos Básicos e Arquitetura Profa. Disponível em  http://wiki.icmc.usp.br/images/7/73/SCC5911ConceitosArquitetura.pdf

Acesso em: 11 nov. 2020

Certificado SharpSpring Inbound Marketing

 

Meu primeiro evento em Programação

 

Migrei para o Marketing Digital

Está vendo a moça de cabelos curtos à direita da tela? Sou eu em 2015 na turma do curso de Google AdWords YouTube. Comprei na Black Friday! Ao final do curso, pedi para falar com o diretor da Goobec e com brilho nos olhos disse que queria trabalhar lá. E ele me contratou! Assim dava partida em uma nova fase da minha vida profissional. Pura emoção!