Python para Engenharia de Dados
Bem vindo a mais um curso da Arruda Consulting.
Este curso aborda o uso do Python para a ingestão de arquivos planos, APIs e bancos de dados no storage da GCP, bem como para extrair, transformar e transferir dados entre as camadas Silver e Gold, incluindo o BigQuery.
Os alunos serão apresentados aos orquestradores de ingestão e transformação, como o Google Cloud Function e o Dagster.
O curso também ensina como criar APIs no Cloud Function para serem consumidas no Viz, utilizando ferramentas como Power BI, Excel via Power Query e DBeaver.
Infraestrutura
- – Configuração GCP e chaves
- – Criação do postgress e carga do banco de dados
- – Instalação Python
- – Instalação vs code
- – Instalação Insomnia
- – Instalação DBeaver
- – Instalação Dagster
Python – Conceitos
- – Indentação
- – Listas e Dicionários
- – Loops
- – Funções
- – Assets em dagster
Cloud Storage
- – Subindo dataframes rawdata e silver para o cloud storage
- – Lendo arquivos dentro do storage sem fazer o download para máquina
Cloud Function / Scheduler
- – Criando api’s http no cloud functions
- – Acionando api’s pelo cloud storage
BigQuery
- – Subindo dataframes dw para o BigQuery
- – Carregando dataframes a partir de tabelas ou consultas ao BigQuery
Framework Pandas
- – Lendo API
- – Lendo Arquivos Localmente
- – Trabalhando com transformações
- – Lendo databases
Visualização de Dados
- – Consumindo dado do BigQuery no Power BI
- – Consumindo dados do BigQuery no excel via Power Quey
Extras
- – Criação de roles / papéis personalizados no IAM
- – Trabalhando com cruzamento de projetos
