Параллельная Обработка Данных, 04 лекция (от 25 сентября)

Материал из eSyr's wiki.

---

Версия 23:52, 29 ноября 2007

Распростарненные ком технологии:

• FastEthernet. Сейчас на нем кластеры уже почти не делают, но приведем для сравнения.Скорость 100 мегабит(12.5 мегабайт). Это пиковые характеристики. При общении процессоров чере мпи обычно удается достичь 6-7

МБ/сек. Латентность зависит от производителя. В среднем 70 мкс. Сейчас он уже считается слишком слабым для построения кластеров.

• Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках мпая удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у фаст. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клстерах как самое дешевое решение, или ис пользуют как вспомогательную сеть, если есть высокопроизв ком среды.

Специализированные ком среды:

• Myrinet 2000. Пиковая пропускная сопособность 2 гигабита(250 МБ/сек). В рамках мпиая порядка 200 МБ/сек. лтентность 10 мкс. Но это уже другой уровень стоимотсти. За такую ком среду надо платить примерно столько же сколько за выч узлы.

• SCI(SCalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет сохдавать двух-трехмерные торы, в ней отстутвует понятие коммутатор, вся ком ведется спец платами, вставляемые в выч узлы. Давал скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность он потерял. ТОже дорогая технология.

• Сейчас наиболее популярна Infiniband. ПОпулярна в дорогом сегменте. Изначально был рассчитан на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных блиизко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.

Это красткие характер 5 основных ком технологий, используемых в кластерах. Заачстую используются несколько ком сред.

Есть множество других сетевых решений. Эти -- наиболее распространенный. Краткий обзорчик кластеров мы на этом закончим. И подойдем к завершению темы компов с распр памятью.

На производительность влияют

-Не забываем закон Амдала, который важен для компьютеров с распр памятью.

-латентность и пропускная способность

-возможность асинхронно посылки сообщений - влияет на то что проц не проставивает когда общается с другими процами

-равномерная загрузка узлов - очень важный фактор. надо строить задачу таким образом, что бы все процам которые есть давалась примерно одинаковое колво данных насчет, чтобы процессоры не проставивали. Это относительно легко, когда система однородная, но становится намного сложнее если система неоднородная(узлы с разной производительностью разной памятью) Далее, если сускаться на более низкий уровень:

-производительность процессора.Каждый проц может иметь свою архитектуру.

Таких факторов много, это только основные И нужно учитывать, что все эти факторы действую одновременно.

И как крайню точку комп с распр памятью рассмотрим ещё один класс. Если мы двигаемя от компов с общей памятью через компы с массивно параллельной пмятью, через кластеры, то крайней точкой можно рассматривать такое поянтие как мета компьютинг, когда в качестве компьютера рассмартивают компы хоть как-то умеющие друг с другом общаться(даже через интернет).Это направление очень модное, так как выч мощность такого компьютера потенциально ужасно огромна. GRID технологии.

Весьма изщвестные и распространненые проекты:

• PACX-MPI - расширение мпи. мпи работающий через тсп/ип. Было продемонтсрировано использование 2 компов(германия-сша) решающих одну задачу. Это хорошо когда в задаче выделяются большие независимые части. Расширение было разработано в конце 90 годов.

• Condarю Занимает нерабочее время корпоративных компьютеров на полезную работу. Свободно распространяемое по, есть реализации под различные оси.

Проекты решающие конкретные прикладные залачи:

• SETI@home - всем желающим было предложено нализировать данные радиолокаторов и искть следы внеземных цивилизаций, но вроде ничего не нашли. НО был один из наболее извсетных проектов, привлекший внимание к подобным затеям.

• distributed.net - продалжается даже сейчас, решает ряд задач, в первую очередь расшифровки различных шифров

• GIMPS- ищут простые числа. В рамках этого проекта найдено максимальное простое число 2^13466917-1.

Проекто последнее очень много, желающие могут найти информацию. НО это -- решение конкретных задач, а что делать если ххочется создать более менее универсальный мета компьютер? Наиболее популярнs

• Globus недостаток - сложность установки и настройки. чтобы одключиться надо проделать много магических движений, что бы настроить прочитать много документции. Это явл значительным недостатком. Тем не менее много сетей ора