Data Scientist | Data-Driven Marketing | Boot Camp Data Analytics WoMakersCode
24 de out. de 2024
6 de ago. de 2024
16 de jan. de 2024
Como e quando aplicar Governança de Dados?
Gerenciar processos internos é um dilema para muitos gestores. Isso porque toda mudança na gestão de processos gera incertezas quanto ao seu êxito. Contudo, quando os gestores bem definem com os Data Steward (os gerentes de dados) junto com os executivos e analistas de Business Intelligence (BI) os componentes para construir e sustentar um sistema de Governança e Gestão Corporativa de TI isso resulta em: processos, políticas e procedimentos, estruturas organizacionais, fluxos de informação e modelagens na infraestrutura entre outros pontos. Isso em muitos casos impacta positivamente na performance da empresa, na qualidade de vida dos colaboradores e em diversos pontos da sociedade.
3 de jan. de 2024
8 de jun. de 2023
Como a aplicação do algoritmo Naive Bayes pode impactar positivamente no dia a dia de um restaurante?
Por Juliana Tourrucoo Alves
Disciplina: INTELIGÊNCIA ANALÍTICA
O clima, a temperatura, a umidade e a presença ou não de vento podem influenciar a decisão de um cliente escolher um determinado prato? Graças ao cálculo do algoritmo de Naive Bayes e critérios de análise preditiva, você terá provas de que sim. Pode! E o dono de restaurante ao documentar essas quatro variáveis em uma planilha digital pode, com a ajuda de um analista de dados, prever qual prato terá mais saída em um determinado dia. Uma informação valiosa para planejar a compra dos ingredientes, organizar o fluxo de trabalho da cozinha e também orquestrar ações de comunicação e marketing nas redes sociais, app de pedidos de comida bem como disparos de mensagens em WhatsApp.
Por que adotar a AVA na Gestão de Projeto?
Disciplina: GESTÃO DE PROJETOS E PROCESSOS, da
ESPECIALIZAÇÃO EM BUSINESS INTELLIGENCE E ANALYTICS 2020
Planejar um projeto, gerenciá-lo e concluí-lo com êxito é uma missão inebriante. Disposta a sentir essas emoções em sua carreira profissional, a gerente de Projetos Laura da Sustainable Building Corporation assumiu a responsabilidade de conduzir o projeto executivo do Complexo Corporativo Sustentável para a CM Engenharia no prazo de 120 dias.
Ela então criou o Termo de Abertura do Projeto (TAP) com a descrição dos objetivos específicos, as estimativas iniciais de prazos, os valores dos recursos necessários e do orçamento disponível, de acordo com as necessidades e os objetivos da empresa (Vargas, 2002). Tal documento é essencial para nortear a equipe de profissionais (os chamados stakeholders-chave).
27 de mai. de 2023
Arquitetura de dados Estruturados e Não Estruturados
Ao compreender os conceitos de arquitetura de dados estruturados e não estruturados junto aos princípios da linguagem SQL e NoSQL, tornou-se possível apresentar um modelo de arquitetura de dados em nuvem para a empresa Terminal de Carga Sociedade Anônima. Responsável por exportar mais de 5, 5 milhões de toneladas de grãos por ano, a empresa necessita com urgência solucionar a questão do gerenciamento do centro de impressão.
Os novos modelos de armazenamento de dados, conhecidos como NOSQL (Not Only SQL) surgem para solucionar as problemáticas de dados atuais, definidas pela propriedade volume, velocidade e variedade (3 V´s), a essência do Big Data.
16 de out. de 2022
What? Why? Where? When? Who? How? How much?
Por que é crucial a empresa ter um planejamento estratégico? “Tudo o que pode ser medido, pode ser melhorado”, sintetizou o pai da administração moderna Peter Ferdinand Drucker (1909 - 2005). Simples e precisa, essa premissa pode ser um bom guia no dia a dia dos profissionais de Business Intelligence e Analytics independente do tamanho e do escopo do projeto. Por isso, ao assumir a missão de fazer um planejamento estratégico para a profissional autônoma Fabiana, dou partida a uma série de pesquisas, que perpassam pelo empreendedorismo, em seguida, concentram-se na análise SWOT e na matriz 5W2H. Por fim, são pontuadas sugestões de indicadores-chave de desempenho. A meta é fazer um exímio dossiê para que ela possa ter informações importantes para iniciar seu processo de profissionalização e ter sucesso em sua empreitada.
21 de jul. de 2022
26 de jun. de 2022
20 de abr. de 2022
17 de mar. de 2022
1 de mar. de 2022
27 de dez. de 2021
15 de mai. de 2021
30 de abr. de 2021
16 de mar. de 2021
12 de mar. de 2021
28 de nov. de 2020
Os desafios de implantar um Data Warehouse nos dias atuais
Professor: Edcleisson Zanardi
Disciplina: Processo de ETL em um Data Warehouse
Aula: Juliana Tourrucoo Alves
Novembro de 2020 -
Quanto tempo diretores e executivos das principais corporações levaram para chegar à decisão de criar um Data Warehouse (DW)? Sem dúvida, gasta-se bastante tempo e esse tempo é valioso. Em vários casos não é porque a empresa prima por metodologias de planejamento para introdução de novos processos. E sim porque há líderes, ainda que de forma discreta, que subestimam o investimento, a função e a eficiência de um DW como uma ferramenta de apoio nas tomadas de decisões.
“Normalmente, a maior parte das empresas não sabe como transformar os dados coletados e existentes em conhecimento. Isso acontece porque nem todas as empresas mantêm as informações organizadas de forma consistente e confiável”. (Machado).
Naturalmente, a implantação de um DW gera muitas dúvidas. Há executivos que também percebem que o DW mudará sua rotina de trabalho. E quem não tem medo do novo? Poucos.
A melhor forma de conter esse temor é com informação. Portanto, o primeiro ponto que os diretores de uma empresa, como os da Seguradora de Saúde da N1, precisam ter em mente é que o DW é uma arquitetura, não uma tecnologia. (Machado).
“Há várias ideias, opiniões, definições, conceitos e ferramentas para criação e manutenção de um Data Warehouse, mas é importante ressaltar que não existe nenhum Data Warehouse pronto para ser utilizado sem um trabalho anterior de levantamento de necessidades da empresa e de seus executivos. Consequentemente, o conceito de Data Warehouse exige estudo e envolvimento da empresa e de seus executivos na definição e construção dessa base de dados de utilização corporativa”. (Machado)
Outro ponto importante para dar forma ao DW? Será essencial chamar uma equipe de Tecnologia da Informação (TI) junto a um time de BI (Business Intelligence). Em conjunto, eles vão implantar um robusto armazém de dados e unificá-lo a uma ferramenta de ETL (Extract Transform Load), como o Power BI da Microsoft ou Oracle Warehouse Builder da Oracle entre outras opções de marcas existentes no mercado. Cabe a esses softwares as funções de: extração, transformação e carregamento - a tríade que dá forma a um DW.
O BI deverá configurar a ferramenta para ela ter a capacidade de expor não apenas os dados, mas fornecer sobretudo relatórios de análise, que possam auxiliar os gestores na melhor tomada de decisão para a empresa. Por isso, essa ferramenta é configurada para ter uma interface amigável tendo o objetivo de facilitar a visualização dos cruzamentos de dados.
Outra característica do DW é a sua formatação. O DW é um banco de dados não volátil, ou seja, um repositório digital no qual não se modifica e nem se exclui dados depois de serem inseridos. “Além disso, permite atualizações periódicas e contém dados atuais e históricos para fornecer informações do fluxo do negócio no tempo” (Varago).
Não é uma regra, mas em geral, os dados históricos. São dados que identificam sobretudo o perfil dos leads (cadastros), o comportamento de compra da sua base de clientes, os produtos mais vendidos e as sazonalidades.
Como todo novo processo, a implantação do DW jamais deve ser feita de forma imediatista. Antes que os dados sejam integrados a uma ETL, é necessário criar um ambiente de teste justamente para que os dados principalmente da ferramenta de CRM (Customer Relationship Management) possam ser limpos e padronizados. É a hora de eliminar informações duplicadas ou desnecessárias. “Muitas soluções ainda são independentes, mas procedimentos de data quality podem agora ser executados como uma das transformações no processo de data integration”. (Ciferri)
Image 1: fonte Ciferri
Nessa etapa pode já ser criada também uma identificação para cada registro, a chamada chave primária (Primary Key). Ao definir um campo como sendo uma chave primária, cria-se uma métrica no banco de dados para coibir a existência de dois registros com o mesmo valor. (Brandão)
“Por exemplo, se definirmos o campo “Número do CPF” da tabela Clientes como sendo uma chave primária, estamos dizendo ao banco de dados que não podem existir dois clientes com o mesmo valor no campo “Número do CPF”. Isso é fundamental! (Brandão)
Com o banco organizado, chega a hora de dar forma ao seu DW. Hoje temos vários métodos de armazenamento e análise como dito acima, mas sempre será preciso de alguma forma trabalhar com banco de dados relacional. (Brandão)
“O banco de dados relacional permite que a informação fique estruturada, em um padrão pré-definido já conhecido por todos, no formato linhas e colunas, onde campos são preenchidos para alimentar tabelas com os seus dados. A melhor forma de armazenar dados é através de uma tabela. Lembrando que um conjunto de tabelas formam um banco de dados. As tabelas são formadas por linhas e colunas. As colunas representam um atributo da informação e as linhas representam o valor do atributo. Juntos formam os registros. (Brandão)
Na etapa de definição da metodologia do DW, sua construção pode seguir duas abordagens distintas: top-down ou bottom-up. (Varago).
· Top-down trabalha com levantamento de todos os requisitos, fontes de dados e padrões dos setores da empresa, para, então, dar sequência à implementação de toda a estrutura. Vantagens: uma única base de dados homogênea e integrada. Desvantagens: o alto custo e tempo de implementação. (Varago)
· Bottom-up faz análise dos requisitos de forma global, da qual surgem uma lista de Data Marts a serem implementados e a forma como serão integrados. Desvantagem: falta de padronização dos Data Marts, gerando redundância dos dados e resultando em dados inconsistentes, devido a diferentes representações das fontes de dados. Essa questão traz entraves à integração da base. (Varago).
Imagem 2: fonte Ciferri
outro desafio importante em um projeto de DW diz respeito ao armazenamento de dados em conformidade com a Lei Geral de Proteção de Dados [Brasil 2018]. Essa Lei é baseada no Regulamento Geral sobre a Proteção de Dados 2016/679 (RGPD, ou, como é mais conhecida em inglês, GDPR - General Data Protection Regulation), elaborado pela União Europeia. A Lei obriga organizações a seguirem uma série de itens quanto à coleta, ao tratamento e à proteção dos dados pessoais.
“A maioria das organizações armazena os dados pessoais coletados dos clientes em Sistemas de Gerenciamento de Banco de Dados (SGBD). Dessa forma, é necessário saber como e o quanto as empresas detentoras dos principais SGBDs comerciais estão preparadas para dar suporte à implantação de estratégias da LGPD de forma eficaz e eficiente”. (Almeida, Verona, Campos e Baião)
Conclusão
Como a arquitetura do Data Warehouse inclui, além de estrutura de dados, mecanismos de comunicação, processamento e apresentação da informação para o usuário final, seria recomendado a formação de um Business Intelligence Competency Center (BICC).
Esse centro teria o objetivo de melhorar o desenvolvimento e focar os recursos necessários para o projeto ter sucesso com Business Intelligence. Caberá ao BICC criar os planos estratégicos e as prioridades de BI além de define as exigências, incluindo dados de qualidade e gestão. Ele também auxiliaria os executivos na interpretação e aplicação das decisões de negócio. (Machado)
Como a tendência para o futuro é que cada vez mais os negócios estejam apoiados em DW (como ou sem Big Data), o profissional de BI conhecimento em DW é cada vez mais primordial não apenas para diminuir custos, mas para criar padrão de eficiência, com mais rentabilidade em novos negócios.
Bibliografia
livros
TAURION, Cezar. Big Data. Rio de Janeiro: Brasport, 2013.
MACHADO, Felipe Nery Rodrigues. Tecnologia e projetos de Data Warehouse: uma Visão Multidimensional. 6. ed. São Paulo. Editora Érica, 2013
Vídeos
CANAL TI, Data Warehouse (O que é, características, exemplo). Youtube, out. 2019. Disponível em: https://www.youtube.com/watch?v=BLAa9hO-H3s. Acesso em: 11 nov. 2020.
Artigos
VARAGO, Anderson. Processo de Etl em um Data Warehouse, Roteiro de Estudos.
Disponível em: https://fmu.blackboard.com/webapps/late-Course_Landing_Page_Course_100-BBLEARN/Controller. Acesso em: 13 nov. 2020.
HADDAD, Renato. 10 motivos para adotar o Power BI
Disponível em https://imasters.com.br/data/10-motivos-para-adotar-o-power-bi
Acesso em: 12 nov. 2020
BRANDÃO, Robson. O que é Banco de Dados Relacional
Disponível em https://www.datainsiders.com.br/post/o-que-e-um-banco-de-dados-relacional
Acesso em: 10 nov. 2020
ALMEIDA, A. C. B, VERONA, l.D, CAMPOS, M.L.M, BAIÃO,F. A.
LGPD em Ambientes de Bancos de Dados nas Organizaçõe, Ana Carolina Brito de Almeida, Letícia Dias Verona, Maria Luiza Machado Campos e Fernanda Araujo Baião
Disponível em https://sol.sbc.org.br/livros/index.php/sbc/catalog/download/39/163/333-1?inline=1
Acesso em: 11 nov. 2020
Ciferri, Cristina Dutra de Aguiar e Ciferri, Ricardo Rodrigues
Data Warehousing: Conceitos Básicos e Arquitetura Profa. Disponível em http://wiki.icmc.usp.br/images/7/73/SCC5911ConceitosArquitetura.pdf
Acesso em: 11 nov. 2020

.png)
