This course is for novice programmers or business people who would like to understand the core tools used to wrangle and analyze big data. With no prior experience, you will have the opportunity to walk through hands-on examples with Hadoop and Spark frameworks, two of the most common in the industry. You will be comfortable explaining the specific components and basic processes of the Hadoop architecture, software stack, and execution environment. In the assignments you will be guided in how data scientists apply the important concepts and techniques such as Map-Reduce that are used to solve fundamental problems in big data. You'll feel empowered to have conversations about big data and the data analysis process.
Plataforma Hadoop e framework de aplicação
Universidade da Califórnia, San DiegoInformações sobre o curso
66,403 visualizações recentes
Resultados de carreira do aprendiz
30%
comecei uma nova carreira após concluir estes cursos
27%
consegui um benefício significativo de carreira com este curso
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Aprox. 23 horas para completar
Inglês
Legendas: Inglês
Habilidades que você terá
Python ProgrammingApache HadoopMapreduceApache Spark
Resultados de carreira do aprendiz
30%
comecei uma nova carreira após concluir estes cursos
27%
consegui um benefício significativo de carreira com este curso
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Aprox. 23 horas para completar
Inglês
Legendas: Inglês
oferecido por
Universidade da Califórnia, San Diego
UC San Diego is an academic powerhouse and economic engine, recognized as one of the top 10 public universities by U.S. News and World Report. Innovation is central to who we are and what we do. Here, students learn that knowledge isn't just acquired in the classroom—life is their laboratory.
Programa - O que você aprenderá com este curso
2 horas para concluir
Hadoop Basics
Welcome to the first module of the Big Data Platform course. This first module will provide insight into Big Data Hype, its technologies opportunities and challenges. We will take a deeper look into the Hadoop stack and tool and technologies associated with Big Data solutions.
2 horas para concluir
7 vídeos (Total 53 mín.), 4 leituras, 1 teste
7 videos
The Apache Framework: Basic Modules3min
Hadoop Distributed File System (HDFS)5min
The Hadoop "Zoo"5min
Hadoop Ecosystem Major Components11min
Exploring the Cloudera VM: Hands-On Part 116min
Exploring the Cloudera VM: Hands-On Part 26min
4 leituras
Apache Hadoop Ecosystem10min
Lesson 1 Slides (PDF)10min
Hardware & Software Requirements10min
Lesson 2 Slides - Cloudera VM Tour10min
1 exercício prático
Basic Hadoop Stack20min
3 horas para concluir
Introduction to the Hadoop Stack
In this module we will take a detailed look at the Hadoop stack ranging from the basic HDFS components, to application execution frameworks, and languages, services.
3 horas para concluir
10 vídeos (Total 70 mín.), 6 leituras, 3 testes
10 videos
The Hadoop Distributed File System (HDFS) and HDFS28min
MapReduce Framework and YARN8min
The Hadoop Execution Environment4min
YARN, Tez, and Spark11min
Hadoop Resource Scheduling6min
Hadoop-Based Applications3min
Introduction to Apache Pig7min
Introduction to Apache HIVE7min
Introduction to Apache HBASE7min
6 leituras
Hadoop Basics - Lesson 1 Slides10min
Lesson 2: Hadoop Execution Environment - Slides10min
Lesson 3: Hadoop-Based Applications Overview - All Slides10min
Command list for Applications Slides10min
Tips to handle service connection errors10min
References for Applications10min
3 exercícios práticos
Overview of Hadoop Stack10min
Hadoop Execution Environment14min
Hadoop Applications12min
2 horas para concluir
Introduction to Hadoop Distributed File System (HDFS)
In this module we will take a detailed look at the Hadoop Distributed File System (HDFS). We will cover the main design goals of HDFS, understand the read/write process to HDFS, the main configuration parameters that can be tuned to control HDFS performance and robustness, and get an overview of the different ways you can access data on HDFS.
2 horas para concluir
9 vídeos (Total 58 mín.), 5 leituras, 3 testes
9 videos
The HDFS Performance Envelope5min
Read/Write Processes in HDFS4min
HDFS Tuning Parameters6min
HDFS Performance and Robustness9min
Overview of HDFS Access, APIs, and Applications5min
HDFS Commands8min
Native Java API for HDFS4min
REST API for HDFS8min
5 leituras
Lesson 1: Introduction to HDFS - Slides10min
HDFS references10min
Lesson 2: HDFS Performance and Tuning - Slides10min
HDFS Access, APIs10min
Lesson 3: HDFS Access, APIs, Applications - Slides10min
3 exercícios práticos
HDFS Architecture12min
HDFS performance,tuning, and robustness10min
Accessing HDFS12min
7 horas para concluir
Introduction to Map/Reduce
This module will introduce Map/Reduce concepts and practice. You will learn about the big idea of Map/Reduce and you will learn how to design, implement, and execute tasks in the map/reduce framework. You will also learn the trade-offs in map/reduce and how that motivates other tools.
7 horas para concluir
9 vídeos (Total 27 mín.), 3 leituras, 3 testes
9 videos
The Map/Reduce Framework2min
A MapReduce Example: Wordcount in detail4min
MapReduce: Intro to Examples and Principles2min
MapReduce Example: Trending Wordcount1min
MapReduce Example: Joining Data4min
MapReduce Example: Vector Multiplication2min
Computational Costs of Vector Multiplication3min
MapReduce Summary2min
3 leituras
Lesson 1: Introduction to MapReduce - Slides10min
A note on debugging map/reduce programs.10min
Lesson 2: MapReduce Examples and Principles - Slides10min
1 exercício prático
Lesson 1 Review14min
Avaliações
Principais avaliações do PLATAFORMA HADOOP E FRAMEWORK DE APLICAÇÃO
por CA9 de Dez de 2015
Very detailed , thorough introduction to a lot of the Hadoop ecosystem. Nice explanation and assignment to get a feel for Spark. At times a bit dry but altogether a well structured and taught course.
por GM31 de Jan de 2016
I'm forced to give 5 stars. I don't want to have a certification on a poor quality course (another coursera mistake). This material needs tremendous amount of work to get finished and revised.
por NP15 de Mai de 2020
Learned about Hadoop Ecosystem, limitations of map-reduce approach and Spark as a solution to overcome some of limitations.Thanks for giving me the opportunity to participate in this MOOC.
por GC24 de Out de 2015
Super hands on introduction to key Hadoop components, such as Spark, Map Reduce, Hive, Pig, HBase, HDFS, YARN, Squoop and Flume. I can't wait to the next course on the specialization.
Perguntas Frequentes – FAQ
Quando terei acesso às palestras e às tarefas?
O acesso a palestras e tarefas depende do tipo de inscrição. Se você participar de um curso como ouvinte, você poderá ver quase todo o conteúdo do curso gratuitamente. Para acessar tarefas valendo nota e obter um Certificado, você precisará adquirir a experiência do Certificado, durante ou após a participação como ouvinte. Se você não vir a opção de participar como ouvinte:
- o curso pode não oferecer essa opção. Você pode experimentar um teste gratuito ou solicitar o auxílio financeiro.
- Em vez disso, o curso pode oferecer 'Curso completo, sem Certificado'. Com esta opção, é possível ver todo o conteúdo do curso, enviar as avaliações necessárias e obter uma nota final. Isso também significa que você não poderá comprar uma experiência de Certificado.
O que recebo ao adquirir o Certificado?
Quando você adquire o Certificado, ganha acesso a todo o material do curso, incluindo avaliações com nota atribuída. Após concluir o curso, seu Certificado eletrônico será adicionado à sua página de Participações e você poderá imprimi-lo ou adicioná-lo ao seu perfil no LinkedIn. Se quiser apenas ler e assistir o conteúdo do curso, você poderá frequentá-lo como ouvinte sem custo.
Qual é a política de reembolso?
Você poderá pedir reembolso total até duas semanas após a data do pagamento, ou (para cursos recém-iniciados) até duas semanas após o início da primeira sessão do curso, o que ocorrer por último. Você não poderá receber reembolso após obter o Certificado de Curso, mesmo que tenha completado o curso dentro do período de duas semanas. Veja nossa política para o reembolso total.
Existe algum auxílio financeiro disponível?
Sim, a Coursera oferece auxílio financeiro aos alunos que não podem pagar a taxa. Faça a solicitação clicando no link Auxílio financeiro, abaixo do botão "Inscreva-se" à esquerda. Você será solicitado a preencher um formulário e será notificado se for aprovado. Saiba mais.
Ganharei créditos universitários por concluir o curso?
Este curso não oferece créditos universitários, mas algumas universidades podem aceitar certificados de cursos que podem ser convertidos em créditos. Entre em contato com sua instituição para saber mais. Com os cursos on-line e os certificados Mastertrack™ do Coursera, é possível ganhar créditos universitários.
Mais dúvidas? Visite o Central de Ajuda ao Aprendiz.
