De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
Este curso faz parte do Programa de cursos integrados Data Engineer, Big Data and ML on Google Cloud em Português
oferecido por
Informações sobre o curso
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Nível intermediário
Aprox. 13 horas para completar
Português (Brasil)
Legendas: Português (Brasil), Inglês
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Nível intermediário
Aprox. 13 horas para completar
Português (Brasil)
Legendas: Português (Brasil), Inglês
oferecido por
Google Cloud
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
Programa - O que você aprenderá com este curso
6 minutos para concluir
Introdução
Neste módulo, apresentaremos o curso e a programação
6 minutos para concluir
2 vídeos (Total 6 mín.)
1 hora para concluir
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
1 hora para concluir
5 vídeos (Total 18 mín.)
5 videos
EL, ELT e ETL4min
Considerações sobre qualidade1min
Como fazer operações no BigQuery3min
Limitações3min
ETL para solucionar problemas de qualidade de dados4min
1 exercício prático
EL, ELT, ETL30min
2 horas para concluir
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
2 horas para concluir
9 vídeos (Total 49 mín.)
9 videos
Como executar o Hadoop no Cloud Dataproc10min
GCS em vez do HDFS6min
Como otimizar o Dataproc5min
Como otimizar o armazenamento do Dataproc9min
Como otimizar os modelos e o escalonamento automático do Dataproc4min
Como otimizar o monitoramento do Dataproc3min
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27s
Resumo31s
1 exercício prático
Como executar o Spark no Cloud Dataproc4min
3 horas para concluir
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
3 horas para concluir
11 vídeos (Total 45 mín.)
11 videos
Introdução7min
Componentes do Data Fusion2min
Como criar pipelines6min
Como analisar dados usando o Wrangler1min
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17s
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1min
Ambiente do Apache Airflow1min
DAGs e operadores12min
Como programar o fluxo de trabalho6min
Monitoramento e registro4min
Laboratório: Introdução ao Cloud Composer12s
1 exercício prático
Cloud Data Fusion e Cloud Composer30min
7 horas para concluir
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
7 horas para concluir
12 vídeos (Total 40 mín.)
12 videos
Cloud Dataflow8min
Por que os clientes valorizam o Dataflow3min
Como criar pipelines do Cloud Dataflow em código3min
Principais considerações no design de pipelines2min
Como transformar dados com PTransforms3min
Laboratório: Como criar um pipeline simples do Dataflow17s
Como agregar com GroupByKey e Combine7min
Laboratório: MapReduce no Cloud Dataflow18s
Entradas secundárias e janelas de dados4min
Laboratório: Prática de entradas secundárias de pipelines11s
Como criar e reutilizar modelos de pipeline3min
Pipelines de SQL do Cloud Dataflow3min
1 exercício prático
Processamento de dados com o Cloud Dataflow30min
4 minutos para concluir
Resumo
Neste módulo, revisaremos os temas abordados no curso
4 minutos para concluir
1 vídeo (Total 4 mín.)
1 vídeos
Resumo do curso4min
Sobre Programa de cursos integrados Data Engineer, Big Data and ML on Google Cloud em Português
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Neste curso, os participantes irão adquirir as seguintes habilidades:
• projetar e criar sistemas de processamento de dados no Google Cloud Platform
• usar dados não estruturados com as APIs do Spark e de aprendizado de máquina no Cloud Dataproc
• processar dados em lote e streaming com a implementação de canais de dados de escalonamento automático no Cloud Dataflow
• derivar insights de negócios a partir de conjuntos de dados extremamente grandes usando o Google BigQuery
• treinar, avaliar e prever com modelos de aprendizado de máquina usando o TensorFlow e o Cloud ML
• ativar insights instantâneos dos dados de streaming
Esta aula destina-se a desenvolvedores experientes responsáveis pelo gerenciamento de transformações de Big Data.
>>> Ao se inscrever nesta especialização, você concorda com os Termos de Serviço do Qwiklabs conforme estabelecido na seção de perguntas frequentes. Veja os Termos de Serviço aqui: https://qwiklabs.com/terms_of_service <<<
Perguntas Frequentes – FAQ
Posso assistir uma prévia do curso antes de me inscrever?
Sim, você pode assistir uma prévia do primeiro vídeo e ver programa do curso antes de se inscrever. Você precisa comprar o curso para ter acesso ao conteúdo não incluído na prévia.
O que recebo ao me inscrever?
Uma vez inscrito, e tão logo sua sessão tenha iniciado, você terá acesso a todos os vídeos e outros recursos, incluindo itens de leitura e fórum de discussão do curso. Você poderá ver e enviar tarefas práticas e concluir tarefas com nota atribuída obrigatórias para obter uma nota e um Certificado de Curso.
Quando receberei meu Certificado de Curso?
Se você concluir o curso com êxito, seu Certificado de Curso eletrônico será adicionado à sua página de Participações e você poderá imprimi-lo ou adicioná-lo ao seu perfil no LinkedIn.
Por que não posso assistir este curso como ouvinte?
Este curso é um dos poucos oferecidos pela Coursera que está disponível apenas para alunos que tenham pago ou recebido auxílio financeiro, quando disponível.
Is financial aid available?
Sim, a Coursera oferece auxílio financeiro ao aluno que não possa pagar a taxa. Faça a solicitação clicando no link Auxílio Financeiro, abaixo do botão "Inscreva-se" à esquerda. Preencha uma solicitação e será notificado caso seja aprovado. Você terá que completar esta etapa para cada curso na Especialização, incluindo o Trabalho de Conclusão de Curso. Saiba mais .
Mais dúvidas? Visite o Central de Ajuda ao Aprendiz.
