De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
Este curso faz parte do Programa de cursos integrados Data Engineer, Big Data and ML on Google Cloud em Português
oferecido por
Informações sobre o curso
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Nível intermediário
Aprox. 13 horas para completar
Português (Brasil)
Legendas: Português (Brasil), Inglês
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Nível intermediário
Aprox. 13 horas para completar
Português (Brasil)
Legendas: Português (Brasil), Inglês
oferecido por
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programa - O que você aprenderá com este curso
6 minutos para concluir
Introdução
Neste módulo, apresentaremos o curso e a programação
6 minutos para concluir
2 vídeos (Total 6 mín.)
1 hora para concluir
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 hora para concluir
5 vídeos (Total 18 mín.)
5 videos
EL, ELT e ETL4min
Considerações sobre qualidade1min
Como fazer operações no BigQuery3min
Limitações3min
ETL para solucionar problemas de qualidade de dados4min
1 exercício prático
EL, ELT, ETL30min
2 horas para concluir
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 horas para concluir
9 vídeos (Total 49 mín.)
9 videos
Como executar o Hadoop no Cloud Dataproc10min
GCS em vez do HDFS6min
Como otimizar o Dataproc5min
Como otimizar o armazenamento do Dataproc9min
Como otimizar os modelos e o escalonamento automático do Dataproc4min
Como otimizar o monitoramento do Dataproc3min
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27s
Resumo31s
1 exercício prático
Como executar o Spark no Cloud Dataproc4min
3 horas para concluir
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 horas para concluir
11 vídeos (Total 45 mín.)
11 videos
Introdução7min
Componentes do Data Fusion2min
Como criar pipelines6min
Como analisar dados usando o Wrangler1min
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17s
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1min
Ambiente do Apache Airflow1min
DAGs e operadores12min
Como programar o fluxo de trabalho6min
Monitoramento e registro4min
Laboratório: Introdução ao Cloud Composer12s
1 exercício prático
Cloud Data Fusion e Cloud Composer30min
7 horas para concluir
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 horas para concluir
12 vídeos (Total 40 mín.)
12 videos
Cloud Dataflow8min
Por que os clientes valorizam o Dataflow3min
Como criar pipelines do Cloud Dataflow em código3min
Principais considerações no design de pipelines2min
Como transformar dados com PTransforms3min
Laboratório: Como criar um pipeline simples do Dataflow17s
Como agregar com GroupByKey e Combine7min
Laboratório: MapReduce no Cloud Dataflow18s
Entradas secundárias e janelas de dados4min
Laboratório: Prática de entradas secundárias de pipelines11s
Como criar e reutilizar modelos de pipeline3min
Pipelines de SQL do Cloud Dataflow3min
1 exercício prático
Processamento de dados com o Cloud Dataflow30min
4 minutos para concluir
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 minutos para concluir
1 vídeo (Total 4 mín.)
1 vídeos
Resumo do curso4min
Sobre Programa de cursos integrados Data Engineer, Big Data and ML on Google Cloud em Português
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Perguntas Frequentes – FAQ
Posso assistir uma prévia do curso antes de me inscrever?
O que recebo ao me inscrever?
Quando receberei meu Certificado de Curso?
Por que não posso assistir este curso como ouvinte?
Is financial aid available?
Mais dúvidas? Visite o Central de Ajuda ao Aprendiz.
