Manipulating big data distributed over a cluster using functional concepts is rampant in industry, and is arguably one of the first widespread industrial uses of functional ideas. This is evidenced by the popularity of MapReduce and Hadoop, and most recently Apache Spark, a fast, in-memory distributed collections framework written in Scala. In this course, we'll see how the data parallel paradigm can be extended to the distributed case, using Spark throughout. We'll cover Spark's programming model in detail, being careful to understand how and when it differs from familiar programming models, like shared-memory parallel collections or sequential Scala collections. Through hands-on examples in Spark and Scala, we'll learn when important issues related to distribution like latency and network communication should be considered and how they can be addressed effectively for improved performance.
oferecido por


Big Data Analysis with Scala and Spark (Scala 2 version)
Escola Politécnica Federal de LausanaInformações sobre o curso
3.307 visualizações recentes
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Nível intermediário
Aprox. 28 horas para completar
Inglês
Sua empresa se beneficiaria do treinamento dos funcionários em habilidades sob demanda?
Experimente o Coursera for BusinessHabilidades que você terá
- Scala Programming
- Big Data
- Apache Spark
- SQL
Prazos flexíveis
Redefinir os prazos de acordo com sua programação.
Certificados compartilháveis
Tenha o certificado após a conclusão
100% on-line
Comece imediatamente e aprenda em seu próprio cronograma.
Nível intermediário
Aprox. 28 horas para completar
Inglês
Sua empresa se beneficiaria do treinamento dos funcionários em habilidades sob demanda?
Experimente o Coursera for Businessoferecido por
Programa - O que você aprenderá com este curso
12 horas para concluir
Getting Started + Spark Basics
12 horas para concluir
7 vídeos (Total 105 mín.), 6 leituras, 3 testes
7 horas para concluir
Reduction Operations & Distributed Key-Value Pairs
7 horas para concluir
4 vídeos (Total 59 mín.)
1 hora para concluir
Partitioning and Shuffling
1 hora para concluir
4 vídeos (Total 57 mín.)
8 horas para concluir
Structured data: SQL, Dataframes, and Datasets
8 horas para concluir
5 vídeos (Total 133 mín.)
Perguntas Frequentes – FAQ
Quando terei acesso às palestras e às tarefas?
O que recebo ao adquirir o Certificado?
Existe algum auxílio financeiro disponível?
Mais dúvidas? Visite o Central de Ajuda ao estudante.