Параллельная Обработка Данных, вопросы к зачету

Материал из eSyr's wiki.

Вопросы к зачету по курсу Параллельная обработка данных 1, 2 потоки 4-го курса факультета ВМиК МГУ

1. Виды параллельной обработки данных, их особенности.

2. История появления параллелизма в архитектуре ЭВМ: IBM 701, 704, 708, IBM STRETCH, ATLAS.

3. История появления параллелизма в архитектуре ЭВМ: CDC 6600, CDC 7600, ILLIAC IV.

4. Оценка вычислительной сложности больших задач.

5. Микроэлектроника и архитектура: оценка вклада в увеличение производительности компьютеров.

6. Закон Амдала, его следствие, суперлинейное ускорение.

7. Иерархия памяти, локальность вычислений, локальность использования данных.

8. Этапы решения задач на параллельных вычислительных системах.

9. Компьютеры с общей и распределенной памятью. Две задачи параллельных вычислений.

10. NUMA и ccNUMA архитектуры. Компьютеры Cm*, BBN Butterfly.

11. Общая структура компьютера Hewlett-Packard Superdome.

12. Причины уменьшения производительности компьютера Hewlett-Packard Superdome.

13. Общая структура компьютера CRAY T3E: вычислительные узлы и процессорные элементы.

14. Общая структура компьютера CRAY T3E: коммуникационная сеть.

15. Общая структура компьютера CRAY T3E: аппаратная поддержка синхронизации параллельных процессов.

16. Вычислительные кластеры: узлы, коммуникационная сеть (латентность, пропускная способность), способы построения.

17. Причины уменьшения производительности компьютеров с распределенной памятью.

18. Метакомпьютер и метакомпьютинг. Отличительные свойства распределенных вычислительных сред.

19. Соотношение между понятиями: функциональное устройство, команда (операция), компьютер и их характеристиками: скалярный, векторный, конвейерный.

20. Общая структура компьютера CRAY C90, структура памяти.

21. Регистровая структура и функциональные устройства процессора CRAY C90.

22. Параллелизм в архитектуре компьютера CRAY C90 (6 особенностей архитектуры).

23. Векторизация программ, необходимые условия векторизации, препятствия для векторизации.

24. Причины уменьшения производительности компьютера CRAY C90: закон Амдала, секционирование векторных операций, время разгона конвейера.

25. Причины уменьшения производительности компьютера CRAY C90: конфликты в памяти, ограниченная пропускная способность каналов передачи данных, необходимость использования векторных регистров.

26. Причины уменьшения производительности компьютера CRAY C90: ограниченный набор векторных регистров, несбалансированность в использовании ФУ, отсутствие устройства деления, перезагрузка буферов команд.

27. Архитектура компьютера NEC Earth Simulator.

28. Параллелизм на уровне машинных команд, суперскалярные, VLIW и EPIC архитектуры.

29. Технологии параллельного программирования: способы и подходы создания параллельных программ.

30. Linda: общая концепция, пространство кортежей, примеры программ.

31. Linda: специальные функции для работы с пространством кортежей.

32. MPI: общая структура. Основные отличия MPI-2 от MPI-1.

33. MPI: синхронное и асинхронное взаимодействие процессов.

34. MPI: различные виды операторов Send (Bsend, Ssend, Rsend).

35. MPI: коллективные операции.

36. MPI: группы, коммуникаторы.

37. Модели параллельных программ: SPMD, мастер/рабочие.

38. Модели передачи сообщений Send/Recv и Put/Get; свойства программ, написанных в терминах Put/Get.

39. OpenMP: общая концепция.

40. OpenMP: основные конструкции для организации параллельных и последовательных секций, для распределения работы между нитями.

41. OpenMP: основные конструкции для синхронизации нитей и работы с общими и локальными данными.

42. Графовые модели программ, их взаимосвязь. Граф алгоритма. Критический путь графа алгоритма.

43. Эквивалентные преобразования программ. Преобразования циклов (перестановка, распределение).

44. Виды параллелизма: конечный, массовый, координатный, скошенный.

45. Ярусно-параллельная форма графа алгоритма, высота, ширина. Каноническая ЯПФ.

46. Зависимость степени параллелизма от формы записи алгоритма (на примере реализации метода Гаусса).

Материалы для подготовки.

1. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с. 2. Материалы информационно-аналитического центра Parallel.ru