Алгоритмическая локальная лемма Ловаса - Algorithmic Lovász local lemma

В теоретическая информатика, то алгоритмическая локальная лемма Ловаса дает алгоритмический способ построения объектов, которые подчиняются системе ограничений с ограниченной зависимостью.

Учитывая конечный набор Плохо События {А₁, ..., А_п} в вероятностном пространстве с ограниченной зависимостью между А_яs и с конкретными ограничениями на их соответствующие вероятности, Локальная лемма Ловаса доказывает, что с ненулевой вероятностью всех этих событий можно избежать. Однако лемма неконструктивна в том смысле, что она не дает никакого понимания как чтобы избежать плохих событий.

Если события {А₁, ..., А_п} определяются конечным набором взаимно независимых случайных величин, простой Алгоритм Лас-Вегаса с ожидаемое время выполнения полинома предложено Робин Мозер и Габор Тардос^[1] может вычислить присвоение случайным величинам, чтобы избежать всех событий.

Обзор локальной леммы Ловаса

Основная статья: Локальная лемма Ловаса

Локальная лемма Ловаса - мощный инструмент, обычно используемый в вероятностный метод доказать существование определенных сложных математических объектов с набором заданных характеристик. Типичное доказательство проводится путем случайной обработки сложного объекта и использует локальную лемму Ловаса для оценки вероятности того, что какая-либо из характеристик отсутствует. Отсутствие функции считается плохое событие и если можно показать, что всех таких плохих событий можно избежать одновременно с ненулевой вероятностью, существование следует. Сама лемма гласит:

Позволять ${\displaystyle {\mathcal {A}}=\{A_{1},\ldots ,A_{n}\}}$ - конечное множество событий в вероятностном пространстве Ω. За ${\displaystyle A\in {\mathcal {A}}}$ позволять ${\displaystyle \Gamma (A)}$ обозначают подмножество ${\displaystyle {\mathcal {A}}}$ такой, что ${\displaystyle A}$ не зависит от коллекции событий ${\displaystyle {\mathcal {A}}\setminus (\{A\}\cup \Gamma (A))}$. Если существует присвоение реалов ${\displaystyle x:{\mathcal {A}}\rightarrow (0,1)}$ к таким событиям, что

${\displaystyle \forall A\in {\mathcal {A}}:\Pr[A]\leq x(A)\prod _{B\in \Gamma (A)}(1-x(B))}$

тогда вероятность избежать всех событий в ${\displaystyle {\mathcal {A}}}$ положительно, в частности

${\displaystyle \Pr \left[\,{\overline {A_{1}}}\wedge \cdots \wedge {\overline {A_{n}}}\,\right]\geq \prod _{A\in {\mathcal {A}}}(1-x(A)).}$

Алгоритмический вариант локальной леммы Ловаса

Локальная лемма Ловаса неконструктивна, потому что она только позволяет сделать вывод о существовании структурных свойств или сложных объектов, но не указывает, как их можно найти или эффективно построить на практике. Обратите внимание, что случайная выборка из вероятностного пространства Ω, вероятно, будет неэффективной, поскольку вероятность интересующего события

${\displaystyle \Pr \left[{\overline {A_{1}}}\wedge \cdots \wedge {\overline {A_{n}}}\right]}$

ограничивается только произведением малых чисел

${\displaystyle \prod _{A\in {\mathcal {A}}}(1-x(A))}$

и поэтому скорее всего будет очень маленьким.

При условии, что все события в ${\displaystyle {\mathcal {A}}}$ определяются конечным набором взаимно независимых случайные переменные ${\displaystyle {\mathcal {P}}}$ в Ω, Робин Мозер и Габор Тардос предложил эффективный рандомизированный алгоритм, который вычисляет присвоение случайным величинам в ${\displaystyle {\mathcal {P}}}$ так что все события в ${\displaystyle {\mathcal {A}}}$ избегаются.

Следовательно, этот алгоритм может использоваться для эффективного построения свидетелей сложных объектов с заданными характеристиками для большинства задач, к которым применима локальная лемма Ловаса.

История

До недавней работы Мозера и Тардоса более ранние работы также достигли прогресса в разработке алгоритмических версий локальной леммы Ловаса. Йожеф Бек в 1991 году впервые представил доказательство возможности алгоритмической версии.^[2] В этом революционном результате к постановке задачи были предъявлены более строгие требования, чем в исходном неконструктивном определении. Подход Бека требовал, чтобы каждый ${\displaystyle A\in {\mathcal {A}}}$, количество зависимостей А был ограничен сверху с помощью ${\displaystyle |\Gamma (A)|<2^{\frac {n}{48}}}$ (примерно). Экзистенциальная версия локальной леммы допускает более широкую верхнюю границу зависимостей:

${\displaystyle |\Gamma (A)|<{\frac {2^{n}}{e}},}$

Эта граница, как известно, жесткая. Начиная с первоначального алгоритма, была проделана работа по приближению алгоритмических версий локальной леммы к этому точному значению. Недавние работы Мозера и Тардоса - самые свежие в этой цепочке, и они предоставляют алгоритм, который достигает этой жесткой границы.

Алгоритм

Давайте сначала познакомимся с некоторыми концепциями, которые используются в алгоритме.

Для любой случайной величины ${\displaystyle P\in {\mathcal {P}},v_{P}}$ обозначает текущее назначение (оценку) п. Обозначается присвоение (оценка) всем случайным величинам. ${\displaystyle (v_{P})_{\mathcal {P}}}$.

Единственное минимальное подмножество случайных величин в ${\displaystyle {\mathcal {P}}}$ которые определяют событие А обозначается vbl (А).

Если событие А верно при оценке ${\displaystyle (v_{P})_{\mathcal {P}}}$мы говорим, что ${\displaystyle (v_{P})_{\mathcal {P}}}$ удовлетворяет А, иначе это избегает А.

Учитывая набор плохих событий ${\displaystyle {\mathcal {A}}}$ мы хотим избежать этого, что определяется набором взаимно независимых случайных величин ${\displaystyle {\mathcal {P}}}$, алгоритм работает следующим образом:

1. ${\displaystyle \forall P\in {\mathcal {P}}}$: ${\displaystyle v_{P}\leftarrow }$ случайная оценка P
2. пока ${\displaystyle \exists A\in {\mathcal {A}}}$ такой, что A удовлетворяет ${\displaystyle (v_{P})_{\mathcal {P}}}$
   • выберите произвольное удовлетворенное событие ${\displaystyle A\in {\mathcal {A}}}$
   • ${\displaystyle \forall P\in {\text{vbl}}(A)}$: ${\displaystyle v_{P}\leftarrow }$ новая случайная оценка P
3. возвращаться ${\displaystyle (v_{P})_{\mathcal {P}}}$

На первом этапе алгоритм случайным образом инициализирует текущее присвоение v_п для каждой случайной величины ${\displaystyle P\in {\mathcal {P}}}$. Это означает, что задание v_п выбирается случайным образом и независимо в соответствии с распределением случайной величины п.

Затем алгоритм переходит в основной цикл, который выполняется до тех пор, пока все события в ${\displaystyle {\mathcal {A}}}$ избегаются, и в какой момент алгоритм возвращает текущее присвоение. На каждой итерации основного цикла алгоритм выбирает произвольное удовлетворенное событие А (случайно или детерминированно) и повторно выбирает все случайные величины, которые определяют А.

Основная теорема

Позволять ${\displaystyle {\mathcal {P}}}$ - конечный набор взаимно независимых случайных величин в вероятностном пространстве Ω. Позволять ${\displaystyle {\mathcal {A}}}$ - конечный набор событий, определяемых этими переменными. Если существует присвоение реалов ${\displaystyle x:{\mathcal {A}}\to (0,1)}$ к таким событиям, что

${\displaystyle \forall A\in {\mathcal {A}}:\Pr[A]\leq x(A)\prod _{B\in \Gamma (A)}(1-x(B))}$

тогда существует присвоение значений переменным ${\displaystyle {\mathcal {P}}}$ избегая всех событий в ${\displaystyle {\mathcal {A}}}$.

Более того, описанный выше рандомизированный алгоритм выполняет повторную выборку события. ${\displaystyle A\in {\mathcal {A}}}$ в лучшем случае ожидаемый

${\displaystyle {\frac {x(A)}{1-x(A)}}}$

раз, прежде чем он найдет такую ​​оценку. Таким образом, ожидаемое общее количество шагов повторной выборки и, следовательно, ожидаемое время выполнения алгоритма не превышает

${\displaystyle \sum _{A\in {\mathcal {A}}}{\frac {x(A)}{1-x(A)}}.}$

Доказательство этой теоремы методом сжатие энтропии можно найти в статье Мозера и Тардоса. ^[1]

Симметричная версия

Требование функции присваивания Икс удовлетворение набору неравенств из приведенной выше теоремы сложно и не интуитивно понятно. Но это требование можно заменить тремя простыми условиями:

• ${\displaystyle \forall A\in {\mathcal {A}}:|\Gamma (A)|\leq D}$, т.е. каждое событие А зависит не более чем от D другие события,
• ${\displaystyle \forall A\in {\mathcal {A}}:\Pr[A]\leq p}$, т.е. вероятность каждого события А самое большее п,
• ${\displaystyle ep(D+1)\leq 1}$, куда е это основание натурального логарифма.

Версия локальной леммы Ловаса с этими тремя условиями вместо функции присваивания Икс называется Симметричная локальная лемма Ловаса. Мы также можем констатировать Симметричная алгоритмическая локальная лемма Ловаса:

Позволять ${\displaystyle {\mathcal {P}}}$ - конечный набор взаимно независимых случайных величин и ${\displaystyle {\mathcal {A}}}$ - конечный набор событий, определяемых этими переменными, как и раньше. Если выполняются три вышеуказанных условия, то существует присвоение значений переменным ${\displaystyle {\mathcal {P}}}$ избегая всех событий в ${\displaystyle {\mathcal {A}}}$.

Более того, описанный выше рандомизированный алгоритм выполняет повторную выборку события. ${\displaystyle A\in {\mathcal {A}}}$ в лучшем случае ожидаемый ${\displaystyle {\frac {1}{D}}}$ раз, прежде чем он найдет такую ​​оценку. Таким образом, ожидаемое общее количество шагов повторной выборки и, следовательно, ожидаемое время выполнения алгоритма не превышает ${\displaystyle {\frac {n}{D}}}$.

Пример

Следующий пример показывает, как алгоритмическую версию локальной леммы Ловаса можно применить к простой задаче.

Пусть Φ - CNF формула по переменным Икс₁, ..., Икс_п, содержащий п статей и по крайней мере k литералы в каждом предложении и с каждой переменной Икс_я появляясь самое большее в ${\displaystyle {\frac {2^{k}}{ke}}}$ статьи. Тогда Φ выполнима.

Это утверждение легко доказать с помощью симметричной версии алгоритмической локальной леммы Ловаса. Позволять Икс₁, ..., Икс_п - множество взаимно независимых случайных величин ${\displaystyle {\mathcal {P}}}$ которые отбираются равномерно случайно.

Во-первых, мы усекаем каждое предложение в Φ, чтобы оно содержало ровно k литералы. Поскольку каждое предложение является дизъюнкцией, это не вредит выполнимости, поскольку, если мы сможем найти удовлетворительное присвоение для усеченной формулы, его можно легко расширить до удовлетворительного присвоения для исходной формулы, повторно вставив усеченные литералы.

Теперь определите плохое событие А_j для каждого предложения в Φ, где А_j это событие, которое пункт j в Φ не удовлетворяется текущим назначением. Поскольку каждое предложение содержит k литералы (и, следовательно, k переменных), и поскольку все переменные выбираются равномерно случайным образом, мы можем ограничить вероятность каждого плохого события соотношением

${\displaystyle \Pr[A_{j}]=p=2^{-k}.}$

Поскольку каждая переменная может появляться не более чем в ${\displaystyle {\frac {2^{k}}{ke}}}$ статей и есть k переменные в каждом предложении, каждое плохое событие А_j может зависеть самое большее от

${\displaystyle D=k\left({\frac {2^{k}}{ke}}-1\right)\leq {\frac {2^{k}}{e}}-1}$

другие события. Следовательно:

${\displaystyle D+1\leq {\frac {2^{k}}{e}},}$

умножая обе стороны на ep мы получили:

${\displaystyle ep(D+1)\leq e2^{-k}{\frac {2^{k}}{e}}=1}$

из симметричной локальной леммы Ловаса следует, что вероятность случайного присвоения Икс₁, ..., Икс_п удовлетворение всех клозов в Φ не равно нулю, и, следовательно, такое присвоение должно существовать.

Алгоритмическая локальная лемма Ловаса фактически позволяет нам эффективно вычислять такое присвоение, применяя описанный выше алгоритм. Алгоритм работает следующим образом:

Он начинается со случайного значение истины присвоение переменных Икс₁, ..., Икс_п отобраны равномерно случайным образом. Хотя в Φ существует невыполненное предложение, оно случайным образом выбирает невыполненное предложение. C в Φ и присваивает новое значение истинности всем переменным, которые появляются в C выбран равномерно случайно. Как только все предложения в Φ удовлетворены, алгоритм возвращает текущее присвоение. Следовательно, алгоритмическая локальная лемма Ловаса доказывает, что этот алгоритм имеет ожидаемое время выполнения не более

${\displaystyle {\frac {n}{{\frac {2^{k}}{e}}-k}}}$

шаги по формулам CNF, которые удовлетворяют двум вышеуказанным условиям. Более сильная версия приведенного выше утверждения доказана Мозером,^[3] см. также Бермана, Карпинского и Скотта.^[4]

Алгоритм похож на WalkSAT который используется для решения общих проблемы логической выполнимости. Главное отличие в том, что в WalkSAT, после невыполненной оговорки C выбрано, Один переменная в C выбирается случайным образом, а его значение перевернуто (что можно рассматривать как равномерное выделение только ${\displaystyle k}$ а не все ${\displaystyle 2^{k}}$ присвоение ценности C).

Приложения

Как упоминалось ранее, алгоритмическая версия локальной леммы Ловаса применима к большинству проблем, для которых общая локальная лемма Ловаса используется в качестве метода доказательства. Некоторые из этих проблем обсуждаются в следующих статьях:

• Вероятностные доказательства невероятностных теорем
• Случайный график

Параллельная версия

Описанный выше алгоритм хорошо подходит для распараллеливания, поскольку повторная выборка двух независимых событий ${\displaystyle A,B\in {\mathcal {A}}}$, т.е. ${\displaystyle {\text{vbl}}(A)\cap {\text{vbl}}(B)=\emptyset }$, параллельно эквивалентно повторной выборке А, B последовательно. Следовательно, на каждой итерации основного цикла можно определить максимальный набор независимых и удовлетворенных событий. S и передискретизируйте все события в S в параллели.

В предположении, что функция присваивания Икс удовлетворяет чуть более сильным условиям:

${\displaystyle \forall A\in {\mathcal {A}}:\Pr[A]\leq (1-\varepsilon )x(A)\prod _{B\in \Gamma (A)}(1-x(B))}$

для некоторого ε> 0 Мозер и Тардос доказали, что параллельный алгоритм обеспечивает лучшую сложность выполнения. В этом случае параллельная версия алгоритма принимает ожидаемый

${\displaystyle O\left({\frac {1}{\varepsilon }}\log \sum _{A\in {\mathcal {A}}}{\frac {x(A)}{1-x(A)}}\right)}$

шаги до его завершения. Параллельная версия алгоритма может рассматриваться как частный случай последовательного алгоритма, показанного выше, и поэтому этот результат справедлив и для последовательного случая.

Рекомендации

1. Мозер, Робин А .; Тардос, Габор (2010). «Конструктивное доказательство общей локальной леммы Ловаса». Журнал ACM. 57 (2): 1. arXiv:0903.0544. Дои:10.1145/1667053.1667060.
2. Бек, Йожеф (1991), "Алгоритмический подход к локальной лемме Ловаса. I", Случайные структуры и алгоритмы, 2 (4): 343–366, Дои:10.1002 / RSA.3240020402.
3. Мозер, Робин А. (2008). «Конструктивное доказательство локальной леммы Ловаса». arXiv:0810.4812 [cs.DS ]..
4. Петр Берман, Марек Карпинский и Александр Д. Скотт, Трудность аппроксимации и выполнимость экземпляров SAT с ограниченным появлением], ECCC TR 03-022 (2003).