Modelagem de Dados para BI, Data Warehouse e Data Lake

• Conceitos de Business Intelligence
• Transformação do Conhecimento
• Qualidade de dados e da Informação
• Modelos de Dados Relacional X Modelo Dimensional (OLTP X OLAP)
• Operações OLAP (roll-up, drill down, slice and dice, pivot)
• Processo de Business Intelligence
• Conceitos BI, Data Warehouse, Data Mart, ODS, ETL / ELT, Data Lake Warehouse, Data Mesh no contexto do projeto de BI
• Papeis e responsabilidades no ambiente de BI
• Projetos de Data Warehouse
• Alinhamento dos conceitos Modelo Entidade Relacionamento (MER) e Normalização
• Oficina de Modelagem Tradicional MER

Teoria e prática da Modelagem Multidimensional (12 horas)

• Ciclo de vida Dimensional do Negócio
• Planejamento e Gerenciamento do Projeto de BI (BI Agile)
• Técnicas de Levantamento de Requisitos para BI
• Dinâmica de grupo: Coleta de requisitos para um Data Warehouse
• Práticas de Modelagem Multidimensional
• Fatos, Dimensões e Medidas
• Tipos de Métricas: Aditivas, Semi-aditivas e Não-aditivas, Atributos e Hierarquias
• Tipos de Modelos: Star Schema e SnowFlake
• Processo de Modelagem Dimensional
• Pontos Cardeais do BI
• Matriz Dimensão Indicador
• Melhores Práticas de Mercado (Design Partners do BI)
• Oficina de Modelagem Multidimensional
• Versionamento de Data Warehouse
• Dimensão Calendário
• Slowly Change Dimension (SCD) e Rapid Change Dimension (RCD)
• Oficina de Modelagem Dimensional Avançada

Arquitetura e Governança em Data Lake (12 horas)

• Conceito de Data Lake vs. Data Warehouse vs. Data Lakehouse
• Arquitetura Lambda e Kappa
• Camadas de um Data Lake: Bronze, Silver e Gold
• Tipos de dados suportados (estruturados, semi e não estruturados)
• Formatos de armazenamento (Parquet, ORC, Avro, JSON, CSV)
• Armazenamento distribuído (HDFS, S3, ADLS, GCS)
• Catálogo de dados e metadados (Data Catalog, Glue, Hive Metastore)
• Governança de dados: qualidade, linhagem, segurança e privacidade
• Data Mesh e descentralização orientada a domínios
• Tecnologias: Delta Lake, Apache Iceberg, Apache Hudi
• Dinâmica de grupo: Mapear a arquitetura de um Data Lake baseado em um caso real
• Diferenças entre modelagem em DW e Data Lake
• Modelagem de zonas e camadas (Staging, Curated, Trusted, Refined)
• Esquemas em leitura (Schema-on-read) vs. esquemas em gravação (Schema-on-write)
• Arquiteturas híbridas com Lakehouse (Databricks, Snowflake, BigQuery)
• Integração com ferramentas de BI (Power BI, Tableau, Superset, etc.)
• Boas práticas em pipelines de dados (ELT com Spark, DBT, Airflow)
• Dados em tempo real e streaming analytics (Kafka, Flink)
• Machine Learning com dados em Data Lake (MLflow, Feature Store)
• Casos de uso: analytics preditivo, logs, IoT, mídias sociais
• Dinâmica de grupo: Planejamento de um pipeline analítico em Data Lake com foco em BI

Referências Bibliográficas

1.        SHARDA,R., DELEN, D., TURBAN, E. Business intelligence e análise de dados para gestão do negócio. 4. ed. Porto Alegre : Bookman, 2019.
2.        MACHADO, F. N. Banco de Dados – Projeto e Implantação. 4 ed. São Paulo: Erica, 2020.
3.        ELMASRI, Ramez; NAVATHE, Shamkant B. Sistemas de Banco de Dados. 7. ed. São Paulo: Pearson, 2016.
4.        SILBERSHATZ, A. Sistema de Banco de Dados. 7. ed. Rio de Janeiro: LTC, 2020.