Распределенная память - Distributed memory

Иллюстрация системы распределенной памяти из трех компьютеров.

В Информатика, распределенная память относится к многопроцессорная компьютерная система в котором каждый процессор имеет свой частный объем памяти. Вычислительные задачи могут работать только с локальными данными, и если требуются удаленные данные, вычислительная задача должна взаимодействовать с одним или несколькими удаленными процессорами. Напротив, Общая память мультипроцессор предлагает единое пространство памяти, используемое всеми процессорами. Процессоры не должны знать, где находятся данные, за исключением того, что это может привести к снижению производительности и что следует избегать условий гонки.

В системе с распределенной памятью обычно есть процессор, память и некоторая форма взаимодействия, которая позволяет программам на каждом процессоре взаимодействовать друг с другом. Межсоединение может быть организовано с указывать на точечные ссылки или отдельное оборудование может обеспечить коммутационную сеть. В топология сети является ключевым фактором в определении того, как многопроцессорная машина напольные весы. Связи между узлами могут быть реализованы с использованием некоторого стандартного сетевого протокола (например, Ethernet ), используя специальные сетевые ссылки (используемые, например, в Транспьютер ) или используя двухпортовая память.

Программирование машин с распределенной памятью

Ключевой вопрос в программировании систем с распределенной памятью - как распределить данные по памяти. В зависимости от решаемой проблемы данные могут распределяться статически или перемещаться по узлам. Данные могут быть перемещены по запросу, или данные могут быть отправлены на новые узлы заранее.

Например, если проблема может быть описана как конвейер, в котором данные Икс впоследствии обрабатывается функциями ж, грамм, часи т. д. (результат час(грамм(ж(Икс)))), то это можно выразить как проблему распределенной памяти, когда данные передаются сначала на узел, который выполняет ж который передает результат на второй узел, который вычисляет грамми, наконец, к третьему узлу, который вычисляет час. Это также известно как систолическое вычисление.

Данные могут храниться в узлах статически, если большинство вычислений происходит локально, и другим узлам необходимо сообщать только изменения на ребрах. Примером этого является моделирование данных с использованием сетки, а каждый узел моделирует небольшую часть большей сетки. На каждой итерации узлы информируют все соседние узлы о новых данных ребра.

Распределенная разделяемая память

Точно так же в распределенная разделяемая память каждый узел кластера имеет доступ к большой общей памяти в дополнение к ограниченной частной памяти каждого узла.

Общая память против распределенной памяти против распределенной разделяемой памяти

  • Преимущество (распределенной) разделяемой памяти состоит в том, что она предлагает единое адресное пространство, в котором можно найти все данные.
  • Преимущество распределенной памяти состоит в том, что она исключает условия гонки и заставляет программиста думать о распределении данных.
  • Преимущество распределенной (разделяемой) памяти заключается в том, что легче спроектировать машину, масштабируемую с помощью алгоритма.

Распределенная разделяемая память скрывает механизм связи, она не скрывает задержку связи.

Смотрите также