Informações sobre o curso
4.0
208 classificações
61 avaliações
Programa de cursos integrados
100% online

100% online

Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis

Prazos flexíveis

Redefinir os prazos de acordo com sua programação.
Nível intermediário

Nível intermediário

Horas para completar

Aprox. 43 horas para completar

Sugerido: 6 weeks of study, 6-8 hours/week...
Idiomas disponíveis

Inglês

Legendas: Inglês...

Habilidades que você terá

Python ProgrammingApache HadoopMapreduceApache Spark
Programa de cursos integrados
100% online

100% online

Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis

Prazos flexíveis

Redefinir os prazos de acordo com sua programação.
Nível intermediário

Nível intermediário

Horas para completar

Aprox. 43 horas para completar

Sugerido: 6 weeks of study, 6-8 hours/week...
Idiomas disponíveis

Inglês

Legendas: Inglês...

Programa - O que você aprenderá com este curso

Semana
1
Horas para completar
14 minutos para concluir

Welcome

...
Reading
8 vídeos (Total de 14 min)
Video8 videos
Issues BigData can solve1min
BigData Applications1min
What is BigData Essentials?2min
Course Structure2min
Meet Emeli1min
Meet Alexey2min
Meet Ivan1min
Horas para completar
8 horas para concluir

What are BigData and distributed file systems (e.g. HDFS)?

...
Reading
18 vídeos (Total de 136 min), 10 leituras, 5 testes
Video18 videos
File system managing6min
File content exploration 15min
File content exploration 213min
Processes4min
Scaling Distributed File System9min
Block and Replica States, Recovery Process 16min
Block and Replica States, Recovery Process 27min
HDFS Client9min
Web UI, REST API4min
Namenode Architecture8min
Introduction10min
Text formats9min
Binary formats 18min
Binary formats 28min
Compression7min
How to submit your first assignment3min
How to Install Docker on Windows 7, 8, 104min
Reading10 leituras
Basic Bash Commands10min
Slack Channel is the quickest way to get answers to your questions10min
HDFS Lesson Introduction10min
Gentle Introduction into "curl"10min
File formats extra (optional)10min
Grading System: Instructions and Common Problems10min
Docker Installation Guide10min
Programming Assignment: Instructions and Common Problems10min
FAQ How to show your code to teaching staff10min
Slack channel "Bigdata-coursera" - the quickest to solve technical problems.10min
Quiz2 exercícios práticos
Distributed File Systems16min
Big Data and Distributed File Systems25min
Semana
2
Horas para completar
3 horas para concluir

Solving Problems with MapReduce

...
Reading
17 vídeos (Total de 94 min), 1 leitura, 3 testes
Video17 videos
Unreliable Components 28min
MapReduce4min
Distributed Shell8min
Fault Tolerance7min
Fault Tolerance. Live Demo3min
Streaming7min
Streaming in Python3min
WordCount in Python5min
Distributed Cache4min
Environment, Counters4min
Testing5min
Combiner5min
Partitioner7min
Comparator1min
Speculative Execution / Backup Tasks3min
Compression4min
Reading1 leituras
Hadoop Streaming Assignments: Intro and Code Samples10min
Quiz3 exercícios práticos
Hadoop MapReduce Intro26min
MapReduce Streaming26min
Hadoop Streaming Final30min
Semana
3
Horas para completar
4 horas para concluir

Solving Problems with MapReduce (practice week)

...
Reading
1 vídeo (Total de 3 min), 5 leituras, 5 testes
Reading5 leituras
Hadoop Streaming Assignments: Intro and Code Samples10min
Hints to Debug Hadoop Streaming Applications10min
Grading System and Grading System Sandbox User Guide10min
Hadoop Streaming Assignments: Instructions10min
Hint to the "Stop words" programming assignment10min
Semana
4
Horas para completar
3 horas para concluir

Introduction to Apache Spark

...
Reading
16 vídeos (Total de 95 min), 2 leituras, 2 testes
Video16 videos
RDDs8min
Transformations 16min
Transformations 27min
Actions5min
Resiliency6min
Execution & Scheduling6min
Caching & Persistence5min
Broadcast variables5min
Accumulator variables5min
Getting started with Spark & Python6min
Working with text files6min
Joins4min
Broadcast & Accumulator variables5min
Spark UI4min
Cluster mode3min
Reading2 leituras
Spark Assignments Intro10min
Instructions for Spark programming assignment10min
Quiz2 exercícios práticos
Lesson 1 Quiz20min
Lesson 2 Quiz24min
4.0

Melhores avaliações

por SDJun 28th 2018

Absolutely essential for everyone who wants a proper introduction to HDFS, MapReduce and Spark. Brought to you by a great team of geniuses of their time ;)

por MGOct 31st 2018

Interesting, useful, informative, accessible (and sometimes funny!) lectures.\n\nStimulating assignments.\n\nFast responses from instructors/mentors.

Instrutores

Avatar

Ivan Puzyrevskiy

Technical Team Lead
Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team

Sobre Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

Sobre o Programa de cursos integrados Big Data for Data Engineers

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Perguntas Frequentes – FAQ

  • Ao se inscrever para um Certificado, você terá acesso a todos os vídeos, testes e tarefas de programação (se aplicável). Tarefas avaliadas pelos colegas apenas podem ser enviadas e avaliadas após o início da sessão. Caso escolha explorar o curso sem adquiri-lo, talvez você não consiga acessar certas tarefas.

  • Quando você se inscreve no curso, tem acesso a todos os cursos na Especialização e pode obter um certificado quando concluir o trabalho. Seu Certificado eletrônico será adicionado à sua página de Participações e você poderá imprimi-lo ou adicioná-lo ao seu perfil no LinkedIn. Se quiser apenas ler e assistir o conteúdo do curso, você poderá frequentá-lo como ouvinte sem custo.

Mais dúvidas? Visite o Central de Ajuda ao Aprendiz.