Treinamentos

Introduction to Data Engineering on Google Cloud

Inscrever-se

Modalidade:

Online, Presencial

Na Matza Education, cada treinamento foi desenvolvido para oferecer conhecimento prático e relevante, conectando teoria e aplicação em cenários reais. Nosso objetivo é preparar profissionais para os desafios do mercado, fortalecendo habilidades técnicas e estratégicas em diferentes áreas da tecnologia e gestão.

Ao participar de um de nossos programas, você terá acesso a conteúdos atualizados, instrutores experientes e uma metodologia voltada para resultados. Independentemente do formato — presencial ou online — buscamos criar uma experiência de aprendizado dinâmica, acessível e de alto impacto.

Mais do que um curso, cada treinamento é uma oportunidade de evolução profissional e pessoal, ajudando você a conquistar certificações, ampliar suas competências e se destacar em um mercado cada vez mais competitivo.

Importante: você deve confirmar o e-mail recebido após a inscrição para validar sua participação.

  • Engenheiros de dados
  • Administradores de banco de dados
  • Administradores de sistema

Neste curso, você aprenderá sobre engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como eles se relacionam com os serviços fornecidos pelo Google Cloud. Você também aprenderá sobre maneiras de lidar com os desafios da engenharia de dados.

Neste curso, os participantes aprenderão as seguintes habilidades:

  • Entender o papel de um engenheiro de dados.
  • Compreender as tarefas de engenharia de dados e componentes principais usados no Google Cloud.
  • Entender como criar e implantar pipelines de dados de vários padrões no Google Cloud.
  • Identifique e utilize várias técnicas de automação no Google Cloud.

Para aproveitar ao máximo este curso, os participantes precisam atender aos seguintes critérios:

  • Experiência anterior com o Google Cloud no nível fundamental usando o Cloud Shell e acessando produtos no console do Google Cloud.
  • Proficiência básica em uma linguagem de consulta comum, como SQL.
  • Experiência com modelagem de dados e atividades ETL (extrair, transformar, carregar).
  • Experiência no desenvolvimento de aplicativos usando uma linguagem de programação comum, como Python.

Experiência no desenvolvimento de aplicativos usando uma linguagem de programação comum, como Python.

1 dias – 08 horas aula –  Online ao Vivo

Módulo 01: Tarefas e Componentes de Engenharia de Dados

  • O papel de um engenheiro de dados
  • Fontes de dados versus destinos de dados
  • Formatos de dados
  • Opções de solução de armazenamento no Google Cloud
  • Opções de gerenciamento de metadados no Google Cloud
  • Compartilhamento de conjuntos de dados usando o Analytics Hub

Objetivos:

  • Explique o papel de um engenheiro de dados.
  • Entenda as diferenças entre uma fonte de dados e um destino de dados.
  • Explique os diferentes tipos de formatos de dados.
  • Explique as opções de solução de armazenamento no Google Cloud.
  • Aprenda sobre as opções de gerenciamento de metadados no Google Cloud.
  • Entenda como compartilhar conjuntos de dados com facilidade usando o Analytics Hub.
  • Entenda como carregar dados no BigQuery usando o console do Google Cloud ou a gcloud CLI.

Módulo 02: Replicação e Migração de Dados

  • Arquitetura de replicação e migração
  • A ferramenta de linha de comando gcloud
  • Movendo conjuntos de dados
  • Datastream

Objetivos:

  • Explique a arquitetura básica de replicação e migração de dados do Google Cloud.
  • Entenda as opções e casos de uso da ferramenta de linha de comando gcloud.
  • Explique a funcionalidade e os casos de uso do Storage Transfer Service.
  • Explique a funcionalidade e os casos de uso do Transfer Appliance.
  • Entenda os recursos e a implantação do Datastream.

Módulo 03: O Padrão de Pipeline de Dados de Extração e Carga

  • Arquitetura de extração e carga
  • A ferramenta de linha de comando bq
  • BigQuery Data Transfer Service
  • BigLake

Objetivos:

  • Explique o diagrama de arquitetura básica de extração e carga.
  • Entenda as opções da ferramenta de linha de comando bq.
  • Explique a funcionalidade e os casos de uso do BigQuery Data Transfer Service.
  • Explique a funcionalidade e os casos de uso do BigLake como um padrão sem extração e carga.

Módulo 04: O Padrão de Pipeline de Dados de Extração, Carga e Transformação

  • Arquitetura de extração, carga e transformação (ELT)
  • Script SQL e agendamento com BigQuery
  • Dataform

Objetivos:

  • Explique o diagrama de arquitetura básica de extração, carga e transformação.
  • Entenda um pipeline ELT comum no Google Cloud.
  • Aprenda sobre os recursos de script e agendamento SQL do BigQuery.
  • Explique a funcionalidade e os casos de uso do Dataform.

Módulo 05: O Padrão de Pipeline de Dados de Extração, Transformação e Carga

  • Arquitetura de extração, transformação e carga (ETL)
  • Ferramentas GUI do Google Cloud para pipelines de dados ETL
  • Processamento de dados em lote usando Dataproc
  • Opções de processamento de dados de streaming
  • Bigtable e pipelines de dados

Objetivos:

  • Explique o diagrama de arquitetura básica de extração, transformação e carga.
  • Aprenda sobre as ferramentas GUI no Google Cloud usadas para pipelines de dados ETL.
  • Explique o processamento de dados em lote usando Dataproc.
  • Aprenda a usar o Dataproc Serverless para Spark para ETL.
  • Explique as opções de processamento de dados de streaming.
  • Explique o papel que o Bigtable desempenha nos pipelines de dados.

Módulo 06: Técnicas de Automação

  • Padrões e opções de automação para pipelines
  • Cloud Scheduler e fluxos de trabalho
  • Cloud Composer
  • Cloud Run Functions
  • Eventarc

Objetivos:

  • Explique os padrões e opções de automação disponíveis para pipelines.
  • Aprenda sobre o Cloud Scheduler e os fluxos de trabalho.
  • Aprenda sobre o Cloud Composer.
  • Aprenda sobre as funções do Cloud Run.
  • Explique a funcionalidade e os casos de uso de automação para Eventarc.