Big Data. HSE Fall 2018. Quiz 3. Map Reduce 2

JavaScript isn't enabled in your browser, so this file can't be opened. Enable and reload.

Тест по теме "Map Reduce: оптимизация".

Фамилия, имя *

1. (1 балл) Выберите корректные способы для ускорения программы WordCount (При выборе учтите, что результат работы ускоренной версии должен совпадать с результатом работы обычной версии)

Выбрать подвыборку исходных данных и запустить WordCount на ней

Использовать Combiner

Увеличить количество Reducer-ов

Использовать partitioner для балансирования нагрузки reducer-ов

Создать цепочку Hadoop-приложений, каждая из которых должна обрабатывать часть датасета

2. (1 балл) Выберите верные утверждения о работе combiner-a

Combiner должен уменьшать количество записей

Combiner имеет такой же формат вывода, как и mapper

Combiner должен совпадать с reducer-ом

3. (1 балл) Выберите верные утверждения о работе Partitioner-а:

Используется для подсчета номера Reducer-a для каждой пары (ключ, значение)

Может быть не определен

Зависит от поля “ключ” (т.е. поля, по которому сортируются промежуточные данные) или подмножестве поля “ключей”

Может быть написан на любом языке программирования

Стандартный параметр ‘KeyFieldBasedPartitioner’ имеет схожие опции, что и утилита ‘sort’ в Unix

4. (1 балл) Какие стадии задачи MapReduce можно имплементировать при помощи MapReduce Streaming? (Имплементировать - написать код, а не передать в качестве аргументов MapReduce задачи)

Mapper

Reducer

Partitioner

Combiner

Comparator

5. (1 балл) Каким образом можно задать поле для ключа в comparator-е?

Никаким. Hadoop использует только первое поле для сортировки

Зависит от используемого Сomparator-а

Можно задать через опцию ключей Сomparator-а.

Clear selection

Submit

Clear form

Never submit passwords through Google Forms.

This content is neither created nor endorsed by Google. - Terms of Service - Privacy Policy

Does this form look suspicious? Report

Forms