Informações sobre o curso
30,837 visualizações recentes

Learner Career Outcomes

33%

comecei uma nova carreira após concluir estes cursos

25%

consegui um benefício significativo de carreira com este curso

100% on-line

Comece imediatamente e aprenda em seu próprio cronograma.

Prazos flexíveis

Redefinir os prazos de acordo com sua programação.

Nível avançado

Aprox. 72 horas para completar

Sugerido: 6 weeks of study, 6-8 hours/week...

Inglês

Legendas: Inglês, Coreano

Habilidades que você terá

GraphsHiveApache HiveApache Spark

Learner Career Outcomes

33%

comecei uma nova carreira após concluir estes cursos

25%

consegui um benefício significativo de carreira com este curso

100% on-line

Comece imediatamente e aprenda em seu próprio cronograma.

Prazos flexíveis

Redefinir os prazos de acordo com sua programação.

Nível avançado

Aprox. 72 horas para completar

Sugerido: 6 weeks of study, 6-8 hours/week...

Inglês

Legendas: Inglês, Coreano

Programa - O que você aprenderá com este curso

Semana
1
22 minutos para concluir

Welcome to the Second Course: Big Data Analysis

8 vídeos (Total 12 mín.), 1 leitura
8 videos
What is BigData Analysis?1min
Tools For BigData Analysis1min
Graph Data Analysis2min
Meet Alexey Dral2min
Meet Pavel Mezentsev37s
Meet Natalia Pritykovskaya40s
Meet Pavel Klemenkov40s
1 leituras
Slack Channel is the quickest way to get answers to your questions10min
3 horas para concluir

Big Data SQL: Hive

15 vídeos (Total 105 mín.), 3 testes
15 videos
HTTP Web Service: Access Log Format4min
Business Use Cases: Solution with Hive6min
(optional) SQL: likbez10min
Hive Data Definition Language (DDL)11min
Hive Data Manipulation Language (DML)6min
Hive Analytics: RegexSerDe, Views7min
(optional) Regular Expressions, Likbez9min
Hive Analytics: UDF, UDAF, UDTF7min
Hive Streaming4min
Hive PTF (Window Functions)5min
Hive Optimization: Partitioning, Bucketing and Sampling8min
Hive Map-Side Joins: Plain, Bucket, Sort-Merge5min
Hive Optimization: Data Skew4min
Hive Optimization: Row-Columnar File Formats, Compression8min
3 exercícios práticos
Hive: SQL over Hadoop MapReduce20min
Hive Analytics with UDF and Streaming20min
Hive final20min
Semana
2
6 horas para concluir

Big Data SQL: Hive (practice week)

3 vídeos (Total 11 mín.), 4 leituras, 5 testes
3 videos
How to Install Docker on Windows 7, 8, 104min
How to submit your first Hadoop assignment3min
4 leituras
Assignments. General requirements10min
Hive assignment. Intro and instructions10min
Grading System: Instructions and Common Problems10min
Docker Installation Guide10min
Semana
3
2 horas para concluir

Spark SQL and Spark Dataframe

14 vídeos (Total 82 mín.), 2 testes
14 videos
What is Pandas DataFrame and how to create it4min
How to process a DataFrame as SQL4min
Working with Hive4min
Reading and Writing Files7min
RDD vs. DF vs. SQL3min
Projection and Filtering5min
Functions5min
Aggregates6min
Join8min
User Defined Functions8min
Time Processing4min
Window Functions7min
Two-Dimensional Distributions4min
2 exercícios práticos
Introducing DataFrame and SQL16min
Spark SQL and Spark Dataframe18min
Semana
4
4 horas para concluir

Graph Analysis from Big Data Perspective

13 vídeos (Total 83 mín.), 5 testes
13 videos
Graph representation7min
Counting common friends. Part I2min
Counting common friends. Part II10min
Counting common friends. Part III5min
GraphFrames: Introduction6min
Motif Finding: DSL6min
Motif Finding: Counting Mutual Friends6min
Motif Finding: Under The Hood. Part 114min
Motif Finding: Under The Hood. Part 24min
Triangles Count: Introduction3min
Triangles Count: Edge Lists6min
Triangles Count: GraphFrame6min
4 exercícios práticos
Graph Representations10min
Motif Finding18min
Triangles Count8min
Graph Analysis from Big Data Perspective20min
4.0
30 avaliaçõesChevron Right

Principais avaliações do Big Data Analysis: Hive, Spark SQL, DataFrames and GraphFrames

por SMNov 13th 2018

content of the course is remarkable and the way they explained concepts is very lucid. I just want to give suggestions please give link to the data set they are using for illustrating the concepts.

por SSFeb 3rd 2018

I wish I could give more rating than 5 :). Excellent course. Thanks so much for such an excellent course. All the instructors are great.

Instrutores

Avatar

Alexey A. Dral

Founder and Chief Executive Officer
BigData Team
Avatar

Pavel Klemenkov

Chief Data Scientist
NVIDIA

Sobre Yandex

Yandex is a technology company that builds intelligent products and services powered by machine learning. Our goal is to help consumers and businesses better navigate the online and offline world....

Sobre Programa de cursos integrados Big Data for Data Engineers

This specialization is made for people working with data (either small or big). If you are a Data Analyst, Data Scientist, Data Engineer or Data Architect (or you want to become one) — don’t miss the opportunity to expand your knowledge and skills in the field of data engineering and data analysis on the large scale. In four concise courses you will learn the basics of Hadoop, MapReduce, Spark, methods of offline data processing for warehousing, real-time data processing and large-scale machine learning. And Capstone project for you to build and deploy your own Big Data Service (make your portfolio even more competitive). Over the course of the specialization, you will complete progressively harder programming assignments (mostly in Python). Make sure, you have some experience in it. This course will master your skills in designing solutions for common Big Data tasks: - creating batch and real-time data processing pipelines, - doing machine learning at scale, - deploying machine learning models into a production environment — and much more! Join some of best hands-on big data professionals, who know, their job inside-out, to learn the basics, as well as some tricks of the trade, from them. Special thanks to Prof. Mikhail Roytberg (APT dept., MIPT), Oleg Sukhoroslov (PhD, Senior Researcher, IITP RAS), Oleg Ivchenko (APT dept., MIPT), Pavel Akhtyamov (APT dept., MIPT), Vladimir Kuznetsov, Asya Roitberg, Eugene Baulin, Marina Sudarikova....
Big Data for Data Engineers

Perguntas Frequentes – FAQ

  • Ao se inscrever para um Certificado, você terá acesso a todos os vídeos, testes e tarefas de programação (se aplicável). Tarefas avaliadas pelos colegas apenas podem ser enviadas e avaliadas após o início da sessão. Caso escolha explorar o curso sem adquiri-lo, talvez você não consiga acessar certas tarefas.

  • Quando você se inscreve no curso, tem acesso a todos os cursos na Especialização e pode obter um certificado quando concluir o trabalho. Seu Certificado eletrônico será adicionado à sua página de Participações e você poderá imprimi-lo ou adicioná-lo ao seu perfil no LinkedIn. Se quiser apenas ler e assistir o conteúdo do curso, você poderá frequentá-lo como ouvinte sem custo.

Mais dúvidas? Visite o Central de Ajuda ao Aprendiz.