Семинар 6

\[\newcommand{\st}{\, : \:} \newcommand{\ind}[1]{\mathbf{1}_{#1}} \newcommand{\dd}{\mathrm{d}}\]

Задача 1

В коробке лежат \(7\) красных и \(5\) белых шаров. Случайным образом из коробки вынимают два шара. Найдите математическое ожидание и дисперсию числа вынутых красных шаров. Изменится ли ответ, если вынимать шары следующим образом: вытащили первый шар, положили обратно, а затем вытащили второй шар?

Пусть \(N\) — количество вынутых красных шаров. Пусть \(X_i=1\), если \(i\)-й вынутый шар красный, и \(X_i=0\) в противном случае. \(N=X_1+X_2\). В обоих случаях имеем \(\mathbb{E}[X_1] = \mathbb{P}(X_1=1) = 7/12 = \mathbb{E}[X_2] = 7/12\), и, следовательно, \(\mathbb E[N]=7/6\). Однако вычисление дисперсии зависит от совместного распределения \((X_1,X_2)\), и нам нужно рассмотреть два случая отдельно.

  1. Без возвращения: В этом случае \(\mathbb{P}(N=2)= \mathbb P(X_1=1,X_2=1)= \binom{7}{2}/\binom{12}{2}\); \(\mathbb{P}(N=0)=\binom{5}{2}/\binom{12}{2}\). Таким образом, мы можем вычислить \[ \begin{aligned} & \mathbb{E}[N^2]= 4 \mathbb P(N=2) + 1 (1-\mathbb P(N=2)- \mathbb{P}(N=0))= 1+ 3 \frac{\binom{7}{2}}{\binom{12}{2}}- \frac{\binom{5}{2}}{\binom{12}{2}} \\ & \mathrm{Var}[N]=\mathbb{E}[N^2] - \mathbb E[N]^2= \frac{175}{396} \approx 0.442 \end{aligned} \]
  2. С возвращением: Теперь \(X_1, X_2\) независимы, \(N \sim \mathrm{Binomial}(2, p=7/12)\). Следовательно, \(\operatorname{Var}(N) = 2p(1-p) = 35/72\approx 0.486\). Как и подсказывает интуиция, дисперсия увеличилась.

Задача 2

Пусть \(\xi \sim \mathcal{N}(0,\sigma^2)\). Вычислите \(\mathbb{E}[\xi^n]\) для \(n\in \mathbb{N}\).

  • Если \(n\) нечётно, то \(\mathbb{E}[\xi^n] = 0\) в силу симметрии нормального распределения относительно нуля.
  • Если \(n=2k\) чётно, мы можем свести задачу к случаю \(\sigma=1\), рассматривая \(Z=\xi/\sigma\), поскольку тогда \(\mathbb E[\xi^{2k}]= \sigma^{2k} \mathbb E[Z^{2k}]\). Интегрирование по частям демонстрирует ключевое свойство стандартных нормальных случайных величин: \[ \mathbb{E}[Z f(Z)] = \mathbb{E}[f'(Z)] \] Пусть \(f(Z) = Z^{n-1}\). Тогда \(\mathbb{E}[Z^n] = (n-1)\mathbb{E}[Z^{n-2}]\). Применяя эту формулу многократно: \(\mathbb{E}[Z^{2k}] = (2k-1)\mathbb{E}[Z^{2k-2}] = (2k-1)(2k-3)\cdots 1 \cdot \mathbb{E}[Z^0] = (2k-1)!!\). Тогда \(\mathbb{E}[\xi^{2k}] = \sigma^{2k}(2k-1)!!\).

Задача 3

Случайная величина \(\xi\) имеет пуассоновское распределение с параметром \(\lambda_1\), случайная величина \(\eta\) распределена экспоненциально с параметром \(\lambda_2\), причем \(\xi\) и \(\eta\) независимы. Найдите математическое ожидание и дисперсию случайных величин \(\xi+\eta\), \(\xi \eta\).

\(\mathbb{E}[\xi+\eta] = \mathbb{E}[\xi] + \mathbb{E}[\eta] = \lambda_1 + 1/\lambda_2\), и в силу независимости \[ \begin{aligned} & \operatorname{Var}(\xi+\eta) = \operatorname{Var}(\xi) + \operatorname{Var}(\eta) = \lambda_1 + 1/\lambda_2^2 \\ & \mathbb{E}[\xi\eta] = \mathbb{E}[\xi]\mathbb{E}[\eta] = \lambda_1/\lambda_2 \\ & \operatorname{Var}(\xi\eta) = \mathbb{E}[\xi^2]\mathbb{E}[\eta^2] - (\mathbb{E}[\xi\eta])^2 = (\lambda_1+\lambda_1^2) (2 \lambda_2^{-2}) - (\lambda_1 / \lambda_2)^2 \end{aligned} \]

Задача 4

Пусть плотность совместного распределения случайных величин \(\xi,\eta\) равна \(p_{\xi,\eta}(x,y) = C \exp(-x^2 + 2xy -2y^2)\). Найдите константу \(C\) и \(\operatorname{Cov}(\xi,\eta)\).

Выделим полный квадрат в показателе экспоненты: \(-x^2 + 2xy - 2y^2 = -(x^2 - 2xy + y^2) - y^2 = -((x-y)^2 + y^2)\). С помощью замены \(z=x-y\) в интеграле получаем \(\int p_{\xi,\eta}(x,y)dx\,dy= C \pi\). Следовательно, \(C=1/\pi\).

Из того же вычисления видно, что \(\zeta:=\xi-\eta\) и \(\eta\) независимы, поэтому \(\operatorname{Cov}(\xi,\eta)=\operatorname{Cov}(\zeta,\eta) - \operatorname{Cov}(\eta,\eta)=0+1/2\).

Задача 5

Приведите пример зависимых случайных величин с нулевой ковариацией.

Пусть \(X\) — любая симметричная (не постоянная) случайная величина, то есть \(X\) и \(-X\) имеют одинаковое распределение, например \(X\sim \mathcal{N}(0,1)\). Возьмем \(Y=X^{2n}\), тогда \(X\) и \(Y\) зависимы, \(\mathbb{E}[X]=0\) и \(\mathbb{E}[X Y]=\mathbb{E}[X^{2n+1}]=0\).

Задача 6

Вычислите \(\mathbb{E}\xi^2\), если

  1. \[ F_\xi(x) = \begin{cases} 0 & \text{при } x<-1, \\ 1/3 & \text{при } -1\le x< 0, \\ 1-\frac{1}{2} e^{-x} & \text{при } x \ge 0. \end{cases} \]
  2. А если \(F_\xi(x) = \frac{1}{2} + \frac{1}{\pi}\arctan x\) при \(x \ge 0\)?

Для \(a\in \mathbb{R}\) имеем, что \[ \mathbb{E}[f(\xi)]= f(a)+\int_a^\infty f'(t)\mathbb{P}(\xi>t)dt - \int_{-\infty}^a f'(t)\mathbb{P}(\xi \le t)dt \tag{1}\]

  1. Мы можем решить задачу двумя разными способами.
    • Используя Уравнение 1 с \(a=-1\): \[ \mathbb{E}\left[\xi^2\right]=(-1)^2+ \int_{-1}^0 2t (1-1/3)dt + \int_0^\infty 2t \tfrac{1}{2}e^{-t}dt = 1-2/3+1=4/3 \]
    • Используя тот факт, что распределение \(\xi\) равно \(\mu_\xi=\tfrac{1}{3}\delta_{-1}+\frac{1}{6}\delta_0+ \tfrac{1}{2} e^{-x} \ind{x\ge 0} dx\), так что \[ \mathbb{E}\left[\xi^2\right]= \int x^2 d\mu_\xi(x)= \tfrac{1}{3}(-1)^2+\tfrac{1}{6}0^2+\tfrac{1}{2}\int_0^\infty t^2 e^{-t}= 1/3+0+2/2=4/3 \]
  2. Это распределение Коши. Распределение \(\xi\) имеет плотность: \(p_\xi(x) = F_\xi'(x) = \frac{1}{\pi(1+x^2)}\). Таким образом, \(x^2 p_\xi(x)\) не интегрируема и \(\mathbb{E}[\xi^2]=+\infty\). Мы также можем проверить, что Уравнение 1 (скажем, при \(a=0\)) дает тот же результат, так как \[ \mathbb{E}\left[\xi^2\right]= 0^2+2\int_0^\infty 2t ( 1/2-\arctan(t))dt =+\infty \]

Задача 7

Пусть \(\xi\) распределена по закону Коши с плотностью \(\frac{1}{\pi}\frac{1}{1+x^2}\). Найдите квантиль \(q_{2/3}\) для \(|\xi|\).

Нам нужно решить \(\mathbb{P}(|\xi|\le q)=2/3\). Отсюда получаем \[ \frac{2}{3}= \int_{-q}^q \frac{1}{\pi}\frac{1}{1+x^2}dx= \frac{2}{\pi}\arctan(q) \] Следовательно, \(q_{2/3}=\tan(\pi/3)=\sqrt{3}\).

Задача 8

\(n=100\) писем случайным образом разложили по \(n\) конвертам, на которых уже были написаны адреса. Найдите математическое ожидание и дисперсию количества писем, попавших в конверты с правильными адресами.

Здесь мы считаем неподвижные точки в случайной перестановке. Пусть \(X\) — количество писем в правильных конвертах. \(X = \sum_{i=1}^n X_i\), где \(X_i\) — индикатор того, что \(i\)-е письмо попало в свой конверт. Поскольку существует \((n-1)!\) перестановок, оставляющих точку \(i\) неподвижной, \[ \mathbb{E}[X_i] = \mathbb{E}[X_i^2] = \mathbb{P}(X_i=1) = 1/n \]

Аналогично, для \(i\neq j\) существует \((n-2)!\) перестановок, оставляющих неподвижными \(i,j\): \[ \mathbb{E}[X_i X_j] = \mathbb{P}(X_i=1, X_j=1) = \frac{1}{n(n-1)} \] Следовательно, \[ \begin{aligned} & \mathbb{E}[X] = \sum_{i=1}^n \mathbb{E}[X_i] = n \cdot (1/n) = 1 \\ & \mathbb{E}[X^2] = \sum_{i,j}\mathbb{E}[X_i X_j]= \sum_i \mathbb{E}[X_i^2] + \sum_{i \neq j} \mathbb{E}[X_i X_j]= n \cdot (1/n)+ n(n-1) \cdot 1/(n(n-1))=2 \\ & \operatorname{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2=2-1-1 \end{aligned} \] Ответ не зависит от \(n\ge 2\).

Задача 9

Пусть случайный вектор \(\xi=(\xi_1,\dots,\xi_n)\) имеет равномерное распределение на \(n\)-мерной сфере радиуса 1. Найдите \(\operatorname{Var}(\xi_j)\).

В силу симметрии \(\mathbb{E}[\xi_i]=0\). Более того, каждое \(\xi_i\) имеет одинаковое распределение и \(\sum_j \xi_j^2=1\). Следовательно, \(\mathbb{E}[\xi_i^2]=\operatorname{Var}(\xi_j)=1/n\).

Задача 10

За круглым столом сидят \(n\) мужчин и \(m\) женщин. Найдите матожидание и дисперсию числа пар соседей вида МЖ.

Пусть \(X_i=1\), если пара на местах \((i,i+1)\) (суммы понимаются по модулю \(n+m\)) имеет тип МЖ, и \(X_i=0\) иначе. Пусть \(X=\sum_i X_i\) — количество пар соседей МЖ. Имеем \[ \begin{aligned} & \mathbb{E}[X]= \sum_i \mathbb{E}[X_i]= (m+n)\mathbb{P}(X_1=1) =(m+n)\frac{2nm}{(n+m)(n+m-1)} = \frac{2nm}{n+m-1} \\ & \mathbb{E}[X^2]= \sum_{i,j} \mathbb{E}[X_i X_j]= \sum_{i,j \st i=j} \mathbb{E}[X_i X_j] + \sum_{i, j \st |i-j|=1} \mathbb{E}[X_i X_j] + \sum_{i, j \st |i-j|>1}\mathbb{E}[X_i X_j] = \mathbb{E}[X] + 2(n+m) \mathbb{P}(X_1=1,X_2=1)+ ((n+m)^2 - 3(n+m)) \mathbb{P}(X_1=1,X_3=1) \\ & \qquad \qquad = \frac{2nm}{n+m-1}+ 2(n+m) \frac{n m (n-1)+ m n (m-1)}{(m+n)(m+n-1)(m+n-2)} + ((n+m)^2 - 3(n+m))\frac{4nm(n-1)(m-1)}{(m+n-1)(m+n-2)} \\ & \operatorname{Var}(X) = \mathbb{E}[X^2] - \mathbb{E}[X]^2 =\frac{4nm(n-1)(m-1)}{(n+m-1)^2(n+m-2)} \end{aligned} \] Действительно,

  • Чтобы вычислить \(\mathbb{P}(X_1=1)\), у нас могут быть пары МЖ или ЖМ, каждая с вероятностью \(nm/((n+m)(n+m-1))\).
  • Чтобы вычислить \(\mathbb{P}(X_1=1,X_2=1)\), у нас могут быть МЖМ или ЖМЖ.
  • Чтобы вычислить \(\mathbb{P}(X_1=1,X_3=1)\), существует четыре расположения: МЖМЖ, МЖЖМ, ЖММЖ, ЖМЖМ.

Задача 11

Пусть \(\eta\) и \(\xi_0,\xi_1,\dots\) — независимые случайные величины, принимающие значения \(0,1,2,\dots\), причем \(\xi_j\) имеют одинаковые распределения. Рассмотрим случайную величину \(\beta = \sum_{j=1}^\eta \xi_j\). Докажите следующее соотношение между производящими функциями: \(Q_\beta = Q_\eta \circ Q_\xi\).

Уславливаясь на \(\eta\): \[ Q_\beta(s) := \mathbb{E}[s^\beta] = \sum_{k=0}^\infty \mathbb{E}[s^\beta | \eta=k]\mathbb{P}(\eta=k) = \sum_{k=0}^\infty \mathbb{E}[s^{\sum_{j=1}^k \xi_j}]\mathbb{P}(\eta=k) \] где на последнем шаге мы использовали, что \(\sum_{j=1}^k \xi_j\) и \(\eta\) независимы. Поскольку \((\xi_j)\) суть i.i.d., математическое ожидание произведения \(\prod s^{\xi_j}\) распадается на множители, что дает \[ Q_\beta(s) = \sum_{k=0}^\infty \prod_{j=1}^k \mathbb{E}[s^{\xi_j}] \mathbb{P}(\eta=k) = \sum_{k=0}^\infty \mathbb{P}(\eta=k) \mathbb{E}[s^{\xi}]^k= Q_\eta(Q_\xi(s)) \]

Задача 12

Задана бесконечная i.i.d. последовательность индикаторов (т.е. Бернулли) \(\left\{\xi_i\right\}\), \(i=0,1\ldots\) с параметром \(p=1/3\), случайная величина \(\beta\) независима с этими индикаторами. Найдите \(\mathbb{E}(\alpha)\) дискретной случайной величины \(\alpha=\sum_{k=1}^\beta\xi_k\), если

  1. \(\beta\sim \mathrm{Poisson}(1)\)
  2. \(\beta\sim \mathrm{Binomial}(3,0.5)\)
  3. \(\beta\sim \mathrm{Geom}(0.5)\)

Мы можем использовать предыдущую задачу, чтобы получить \(Q_\alpha=Q_\beta \circ Q_\xi\). В частности, \(\mathbb{E}[\alpha]= Q_\alpha'(1)= Q_\beta'(Q_\xi(1)) Q_\xi'(1)= Q_\beta'(1)Q_\xi'(1)=\mathbb{E}[\beta]\mathbb{E}[\xi]\).

Задача 13

Два преподавателя читают теорию вероятностей. Первый уже знает, что в его классе \(n\) студентов. Другой, однако, еще не провел первое занятие, поэтому он считает, что количество \(N\) его студентов — случайная величина с матожиданием равным \(n\).

Планируется провести экзамен, вероятность успешной сдачи которого равна \(p\in (0,1)\) для каждого студента (независимо от других студентов и от \(N\)). В каком классе наибольшее ожидаемое число тех студентов, которые успешно сдадут экзамен? В каком классе набольшая дисперсия числа студентов, которые сдадут экзамен?

Пусть \(Y\) — количество студентов, сдавших экзамен в первом классе, а \(X\) — во втором.

\(Y \sim \mathrm{Binomial}(n,p)\). Следовательно, \(\mathbb{E}[Y] = np\) и \(\operatorname{Var}(Y) = np(1-p)\).

Для второго класса количество студентов \(N\) является случайной величиной с \(\mathbb{E}[N]=n\). Однако мы знаем, что \(\mathbb{P}(X=k|N=m)= \binom{m}{k} p^k (1-p)^{m-k}\). А именно, \(X\) имеет биномиальное распределение при условии \(N\). Из предыдущей задачи \(\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|N]] = np\). Ожидаемое количество студентов, сдавших экзамен, одинаково в обоих классах.

Дисперсию можно вычислить как: \[ \operatorname{Var}(X) = \mathbb{E}[\operatorname{Var}(X|N)] + \operatorname{Var}(\mathbb{E}[X|N]) \] где \(\operatorname{Var}(X|N) = Np(1-p)\), поэтому первый член в правой части равен \(np(1-p)\). \(\mathbb{E}[X|N] = Np\), поэтому второй член равен \(p^2\operatorname{Var}(N)\). В частности, \(\operatorname{Var}(X)=\operatorname{Var}[Y]+p^2 \operatorname{Var}[N]\). Дисперсия больше во втором классе.

Задача 14

Пусть случайная величина \(\xi\in L_1(\Omega,\mathbb{P})\) такова, что

  1. \(\xi=0,1,\dots\). Докажите, что \(\mathbb{E}\xi = \sum_{n=1}^\infty \mathbb{P}(\xi\ge n)\).
  2. \(\xi\ge 0\). Докажите, что \(\mathbb{E}\xi = \int_0^\infty \mathbb{P}(\xi\ge x)\, dx\). Кроме того, \(\mathbb{E}\xi = \int_0^\infty \mathbb{P}(\xi> x)\, dx = \int_0^\infty (1-F_\xi(x))\, dx\).

В общем случае имеем для \(X\ge 0\), что \(\xi=\int_0^\infty \ind{x < \xi} dx\), тогда по теореме Фубини \[ \mathbb{E}[X]=\int_0^\infty \mathbb{P}(\xi >x)dx \]

Задача 15

У вас есть час на дневной сон, но вы ждете два сообщения и не отключаете телефон. От сообщений вы просыпаетесь. Считая, что времена прихода сообщений независимы и равномерно распределены в течение этого часа, сколько в среднем вам останется спать после их прихода?

Пусть час — это интервал \([0,1]\). Времена прихода сообщений \(T_1, T_2 \sim \mathrm{Uniform}([0,1])\) независимы. Вы проснетесь последний раз в момент \(M = \max(T_1, T_2)\). Оставшееся время сна равно \(1-M\). Таким образом, \[ \mathbb{E}[1-M] = \int_0^1 \mathbb{P}(M \le t) dt= \int_0^1\mathbb{P}(T_1 \le t)\mathbb{P}(T_2 \le t) dt= \int_0^1 t^2 dt=1/3 \] или 20 минут.

Задача 16

Пусть \(\xi\) - случайная величина. Докажите следующие утверждения.

  1. Если \(\xi\in L^1\), то медиана \(m\) минимизирует функцию \(\phi_1(r)=\mathbb{E}[|\xi-r|]\).
  2. Если \(\xi\in L^2\), то математическое ожидание \(\mathbb{E}[\xi]\) минимизирует функцию \(\phi_2(r)=\mathbb{E}[|\xi-r|^2]\).
  3. Используйте (а) и неравенство Йенсена, чтобы доказать, что \(|m-\mathbb{E}[\xi]|^2\le \operatorname{Var} \xi\).
  1. Пусть \(m\) — медиана и \(r > m\). Тогда \(\mathbb{E}[|\xi-r|] - \mathbb{E}[|\xi-m|] = \mathbb{E}[|\xi-r|-|\xi-m|]\). Подынтегральное выражение равно \(r-m\) при \(\xi\le m\), \(m-r\) при \(\xi>r\), и \(m+r-2\xi\) при \(m<\xi\le r\). Таким образом, \[ \phi_1(r)-\phi(m)=\mathbb{E}[|\xi-r|] - \mathbb{E}[|\xi-m|] \ge (r-m)\mathbb{P}(\xi\le m) + (m-r)\mathbb{P}(\xi>r) + (m-r)\mathbb{P}(m < \xi\le r) = (r-m)(\mathbb{P}(\xi\le m) - \mathbb{P}(\xi>m)) \ge 0 \] Если \(r<m\), то аналогичное вычисление, применённое к \(-\xi\), дает схожий результат.
  2. Пусть \(\mu:=\mathbb{E}[\xi]\). Тогда \[ \phi_2(r) = \mathbb{E}[(\xi-r)^2] = \mathbb{E}[(\xi-\mu)^2] + 2\mathbb{E}[(\xi-\mu)](r-\mu) + (r-\mu)^2 = \phi_2(\mu)+(r-\mu)^2 \] Таким образом, \(m\) является единственной точкой минимума для \(\phi_2\).
  3. \(|\mathbb{E}\xi-m| \le \mathbb{E}[|\xi-m|] \le \mathbb{E}[|\xi-\mathbb{E}[\xi]|]\) из пункта а. Следовательно, \[ |\mathbb{E}[\xi]-m|^2 \le \mathbb{E}[|\xi-\mathbb{E}[\xi]|]^2 \le \mathbb{E}[|\xi-\mathbb{E}[\xi]|^2] = \operatorname{Var}(\xi). \]

Задача 17*

[в контексте этой задачи впервые в истории был применен метод Монте-Карло] На полосу бесконечной длины и единичной ширины на плоскости случайным образом бросают иглу единичной длины. Какова вероятность того, что игла пересечет хотя бы одну из линий, образующих полосу?

Указание: Замените задачу следующим более общим вопросом: вместо иглы рассмотрим произвольную липшицеву кривую длины \(\ell\). Найдите матожидание числа ее пересечений с бесконечной решеткой, образованной параллельными линиями с шагом 1. Начните с кривой в форме отрезка.

С вероятностью \(1\) игла не может пересечь более одной линии. Поэтому вероятность пересечения — это просто математическое ожидание числа пересечений.

Рассмотрим отрезок длины \(\ell\), разобьем его на конечное число интервалов, и пусть \(X_i\) — количество пересечений интервала \(i\) с вертикальными линиями на плоскости. Количество пересечений \(X=\sum_i X_i\) удовлетворяет \[ \mathbb{E}[X]=\sum_i \mathbb{E}[X_i] \tag{2}\] следовательно, \(\mathbb{E}[X]\) — это просто линейная функция от \(\ell\). Нам нужно выяснить коэффициент пропорциональности. Рассмотрим теперь конечное объединение отрезков. Мы можем рассуждать так же, и количество пересечений будет пропорционально суммарной длине отрезков.

Поскольку мы берем кусочно-линейную кривую для аппроксимации гладкой кривой, например окружности, мы видим, что количество пересечений аппроксимаций сходится п.н. к количеству пересечений кривой (которое, например, для окружности ограничено). Таким образом, для гладкой кривой \(\mathcal{C}\) количество пересечений \(X_{\mathcal{C}}\) удовлетворяет \[ \mathbb{E}[X_{\mathcal{C}}]= A \ell(\mathcal{C}) \] где \(A\) — константа, не зависящая от кривой \(\mathcal{C}\), а \(\ell(\mathcal{C})\) — длина кривой. Чтобы определить \(A\), заметим, что окружность диаметра \(1\) имеет п.н. \(2\) пересечения с вертикальными линиями. Следовательно, \(2= A \pi\). Таким образом, для гладкой (или спрямляемой) кривой \[ \mathbb{E}[X_{\mathcal{C}}]= 2 \ell(\mathcal{C})/\pi \]

Задача 18*

Пусть \(S^1=\mathbb{R}/\mathbb{Z}\) — окружность длины \(1\). Для \(E\subset S^1\) и \(x\in S^1\) положим \(x+E:=\{x+y \st y\in E\}\). Пусть множество \(E\) измеримо и $n $. Докажите, что существуют \(x_1,\ldots,x_n \in S^1\) такие, что \(|\cup_{i = 1}^n (x_i + E)| \ge 1- (1- |E|)^n\). Пример: для \(E=[0,1/n]\) можно выбрать \(x_1=0\), \(x_2=1/n\), \(x_3 = 2/n\) и т.д., тогда искомое объединение \(\cup_{i=1}^n (x_i+E)\) совпадает с \(S^1\) и его мера равна \(1\).

Выберем \(x_1,\ldots, x_n\) независимо с равномерным распределением на \(S^1\). По теореме Фубини: \[ \begin{aligned} \mathbb{E}[|\cup_{i=1}^n (x_i+E)|] & =\int_{S^1} \mathbb{E}[\mathbf{1}_{\cup_i (x_i+E)}(y)]dy \\ & = \int_{S^1} \left(1 - \mathbb{P}(\cap_i \{y \notin x_i+E\}) \right) dy = 1 - \int_{S^1} \mathbb{P}( \cap_i \{ x_i \notin y-E \}) dy \\ & = 1- \int_{S^1}\prod_i \mathbb{P}(x_i \notin y-E) dy= 1-(1-|E|)^n \end{aligned} \] Поскольку среднее значение меры объединения равно \(1-(1-|E|)^n\), должно существовать по крайней мере одно конкретное расположение \((x_1, \ldots, x_n)\), для которого мера объединения не меньше этого среднего значения.

Задача 19*

Найдите матожидание и дисперсию \(\max(\xi,\eta)\), где \(\xi,\eta\) — случайные величины из задачи (3).

Поскольку \(\xi\), \(\eta\) независимы, \[ \mathbb{E}[\max(\xi,\eta)]= \int_0^\infty 1- \mathbb{P}(\max(\xi,\eta)\le t) dt = \int_0^\infty 1- \mathbb{P}(\xi \le t) \mathbb{P}(\eta \le t) dt \] Дисперсию мы можем вычислить как \(\operatorname{Var}(\max(\xi,\eta))= \mathbb{E}[\max(\xi,\eta)^2]- \mathbb{E}[\max(\xi,\eta)]^2\). Так что нам остаётся вычислить \[ \mathbb{E}[\max(\xi,\eta)^2]= \int_0^\infty 2t (1- \mathbb{P}(\xi \le t) \mathbb{P}(\eta \le t)) dt \]

Задача 20*

[обобщение задачи 14] Пусть \(f\in C^1(\mathbb{R})\), \(\xi\) — случайная величина и \(f(\xi)\in L_1\). Докажите, что \(\forall a\in\mathbb{R}\) \[ \mathbb{E} f(\xi) = f(a) + \int_a^\infty f'(x)\mathbb{P}(\xi\ge x)\,dx - \int_{-\infty}^a f'(x)\mathbb{P}(\xi\ge x)\,dx \]

Мы можем ограничиться случаем \(a=0\) и \(f(0)=0\), рассматривая в противном случае функцию \(f(\cdot+a)-f(a)\). Давайте также рассмотрим случай \(\xi \ge 0\), общий случай аналогичен. Тогда по теореме Фубини \[ \begin{aligned} & f(\xi)= \int_0^\xi f'(t) dt= \int_0^\infty f'(t) \mathbf{1}_{0\le t \le \xi} dt \\ & \mathbb{E}[f(\xi)]= \int_0^\infty f'(t) \mathbb{E}[\mathbf{1}_{0\le t \le \xi}] dt \end{aligned} \] что и дает заявленную формулу.

Задача 21*

Пусть \(E\) — упорядоченное измеримое пространство. Пусть \(\xi \colon \Omega\to E\) — случайная величина. Пусть \(f,g \colon E \to \mathbb{R}\) — измеримые монотонные функции. Докажите, что \[ \mathbb{E}[f(\xi)\,g(\xi)]\ge \mathbb{E} [f(\xi)]\mathbb{E} [g(\xi)]. \]

Возьмем i.i.d. \(X,Y\). Тогда, так как \((f(y)-f(x))(g(y)-g(x))\) поточечно неотрицательно, \[ 0 \le \mathbb{E}[(f(Y)-f(X))(g(Y)-g(X))] = \mathbb{E}[f(X)g(X)+f(Y)g(Y)] -\mathbb{E}[f(X)g(Y)+ f(Y)g(X)] \] Поскольку \(X,Y\) суть i.i.d., это дает искомое неравенство.

Задача 22*

Пусть случайные величины \(\xi, \eta\) удовлетворяют \(\mathbb{E}\xi=\mathbb{E}\eta = 0\), а \(\operatorname{Var}\xi=\operatorname{Var}\eta = 1\) и имеют коэффициент корреляции \(\rho\). Докажите, что \[ \mathbb{E}\max(\xi^2,\eta^2) \le 1+ \sqrt{1-\rho^2}. \]

Для \(a,b \in \mathbb{R}\) выполняется \(\max(a,b) = \frac{a+b+|a-b|}{2}\). Таким образом: \[ \mathbb{E}\max(\xi^2,\eta^2) = \frac{1}{2}\mathbb{E}[\xi^2+\eta^2] + \frac{1}{2}\mathbb{E}[|\xi^2-\eta^2|] = \frac{1}{2} \operatorname{Var}[\xi]+\frac{1}{2} \operatorname{Var}[\eta] +\frac{1}{2}\mathbb{E}[|\xi+\eta||\xi-\eta|] \] Кроме того, мы имеем \(\mathbb{E}[\xi \eta]=\rho \sqrt{\operatorname{Var}[\xi]\operatorname{Var}[\eta]}\), и \[ \mathbb{E}[|\xi+\eta||\xi-\eta|] \le \mathbb{E}[(\xi+\eta)^2]^{1/2} \mathbb{E}[(\xi-\eta)^2]^{1/2} \] Объединяя всё вместе: \[ \mathbb{E}\max(\xi^2,\eta^2) \le \frac{\operatorname{Var}[\xi]+\operatorname{Var}[\eta]}{2} + \frac{1}{2}\sqrt{(\operatorname{Var}[\xi]+\operatorname{Var}[\eta])^2 - 4\rho^2\operatorname{Var}[\xi]\operatorname{Var}[\eta]} \]

Задача 23*

Случайные величины \(\xi_1,\xi_2,\dots\) — iid, \(\xi_j\sim \mathrm{Uniform}([0,1])\). Пусть \(\nu\) — случайная величина, равное минимальному \(k\), при котором \(\sum_{i=1}^k\xi_i \ge 1\). Найдите \(\mathbb{E}[\nu]\).

Для \(S_n = \sum_{i=1}^n \xi_i\) выполняется \(\{\nu > n\} = \{S_n < 1\}\). Таким образом, \[ \mathbb{E}[\nu] = \sum_{n=0}^\infty \mathbb{P}(\nu > n)= \sum_{n=0}^\infty \mathbb{P}(S_n < 1) \] Плотность \(S_n\) на \([0,1]\) равна \(x^{n-1}/(n-1)!\). Следовательно, \[ \mathbb{E}[\nu] = \int_0^1 \sum_{n=1}^\infty \frac{x^{n-1}}{(n-1)!} dx =e \]

Дополнительные Задачи

Задача 24*

Пусть \(\xi\) — случайная величина, а \(f\colon \mathbb{R}\to \mathbb{R}\) абсолютно непрерывна и такова, что \(\mathbb{E}[|f(\xi)|]<\infty\). Докажите, что для \(a\in \mathbb{R}\) \[ \mathbb{E}[f(\xi)]= f(a)+\int_a^\infty f'(t) \mathbb{P}(\xi >t)dt - \int_{-\infty}^a f'(t) \mathbb{P}(\xi \le t)dt \] В частности, если \(f\) имеет предел на \(-\infty\), \[ \mathbb{E}[f(\xi)]= f(-\infty)+\int_{-\infty}^\infty f'(t) \mathbb{P}(\xi >t)dt \tag{3}\]

Поскольку \(f\) абсолютно непрерывна, для \(\omega\) таких, что \(\xi(\omega) \ge a\) (заметим, что по крайней мере один из интегральных членов обращается в ноль для каждого \(\omega\), в зависимости от того, \(\xi(\omega)> a\) или \(\xi(\omega)<a\)): \[ f(\xi)=f(a)+\int_a^\infty \ind{\xi > t} f'(t)dt -\int_{-\infty}^a \ind{\xi \le t} f'(t)dt \] Внося математическое ожидание под знак интеграла, получаем искомую формулу.

Задача 25*

Пусть \(\xi\) — случайная величина и \(\varepsilon \in (0,1]\). Определим \[ \begin{aligned} \varphi(t):= - \log \mathbb{P}(\xi>t) \in [0,+\infty] \\ \psi(t):=- \log \mathbb{P}(\xi \ge t) \in [0,+\infty] \\ \end{aligned} \] Докажите, что \[ \mathbb{E}[e^{(1-\varepsilon) \psi(\xi)}] \le \varepsilon^{-1} \le \mathbb{E}[e^{(1-\varepsilon) \varphi(\xi)}] \] В частности, достигается равенство, если \(\mathbb{P}(\xi=t)=0\) для всех \(t\).

Сначала возьмем абсолютно непрерывную, неубывающую функцию \(\chi \ge \varphi\). Используя Уравнение 3, \[ \begin{aligned} \mathbb{E}[e^{(1-\varepsilon) \chi(\xi)}] & =1+ \int_0^\infty (1-\varepsilon) e^{(1-\varepsilon) \chi(t)} \chi'(t) \mathbb{P}(\xi>t) dt \ge 1+\int_0^\infty (1-\varepsilon) e^{(1-\varepsilon) \chi(t)} \chi'(t) e^{-\chi(t)} dt \\ & =1+ (1-\varepsilon) \int_0^{\infty} e^{-\varepsilon \chi(t)} \chi'(t) dt =1+ (1-\varepsilon)/\varepsilon=1/\varepsilon \end{aligned} \] И аналогично, если мы рассмотрим \(\chi \le \psi\). Следовательно, \[ \sup_{\chi \le \psi, \chi \text{a.c.}}\mathbb{E}[e^{(1-\varepsilon) \chi(\xi)}] \le \varepsilon^{-1} \le \sup_{\chi \ge \varphi, \chi \text{a.c.}}\mathbb{E}[e^{(1-\varepsilon) \chi(\xi)}] \] Теперь суть в том, что мы можем аппроксимировать \(\varphi\) гладкими функциями сверху, а \(\psi\) — снизу. Например, возьмем \(\eta_n\) с гладкой плотностью, сосредоточенной в \([0,1/n]\), и независимую от \(\xi\). Затем положим \[ \varphi_n(t):=-\log \mathbb{P}(\xi+\eta_n>t) \in [\varphi(t-1/n),\psi(t)], \qquad \psi_n(t):=-\log \mathbb{P}(\xi-\eta_n\ge t) \in [\varphi(t),\psi(t+1/n)] \] и перейдем к пределу при \(n\to \infty\).