Buscar

Partições são as unidades de paralelismo. Você pode controlar o número de partições de um RDD, usando as transformações de repartição ou de coalesc...

Partições são as unidades de paralelismo. Você pode controlar o número de partições de um RDD, usando as transformações de repartição ou de coalescência. O Spark tenta estar o mais próximo possível dos dados, sem perder tempo para enviar dados pela rede, por meio do embaralhamento de RDD. Posteriormente, cria quantas partições forem necessárias para seguir o layout de armazenamento e, assim, otimizar o acesso aos dados. Isso leva a um mapeamento um-para-um entre dados (físicos) em um armazenamento de dados distribuídos, por exemplo, HDFS ou Cassandra, incluindo partições. Segundo Spark (2019), os RDDs suportam dois tipos de operações. Sobre esses dois tipos de operações, analise as sentenças a seguir: I – Transformações: operações lentas que retornam outro RDD. II – Ações: operações que acionam valores de computação e de retorno. III – Motivação: para criar o RDD (depois dos autores), dois tipos de aplicativos que as atuais estruturas de computação lidam sem eficiência. IV – Algoritmos iterativos em aprendizado de máquina e cálculos de Big O. Assinale a alternativa CORRETA:

Respostas

User badge image

Ed Verified user icon

Vamos analisar cada afirmativa: I – Transformações: operações lentas que retornam outro RDD. Correto, as transformações no Spark são operações lentas que retornam um novo RDD. II – Ações: operações que acionam valores de computação e de retorno. Correto, as ações no Spark são operações que desencadeiam a computação e retornam valores. III – Motivação: para criar o RDD (depois dos autores), dois tipos de aplicativos que as atuais estruturas de computação lidam sem eficiência. Incorreto, essa afirmação não está clara e não faz sentido em relação aos tipos de operações em RDDs. IV – Algoritmos iterativos em aprendizado de máquina e cálculos de Big O. Correto, os algoritmos iterativos em aprendizado de máquina e cálculos de complexidade computacional são exemplos de uso de RDDs no Spark. Portanto, as afirmativas corretas são I, II e IV. A alternativa que contém todos os itens corretos é: a) I, II e IV.

0
Dislike0

✏️ Responder

SetasNegritoItálicoSublinhadoTachadoCitaçãoCódigoLista numeradaLista com marcadoresSubscritoSobrescritoDiminuir recuoAumentar recuoCor da fonteCor de fundoAlinhamentoLimparInserir linkImagemFórmula

Para escrever sua resposta aqui, entre ou crie uma conta

User badge image

Mais conteúdos dessa disciplina