МОТП, Задачи на экзамене

Материал из eSyr's wiki.

Версия от 23:15, 25 мая 2009; 194.88.210.254 (Обсуждение)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

За нерешение данных задач оценка снижается на балл.

1. Даны р точек в двухмерном пространстве (буду прямо их ручкой у вас на листочке задавать). Найти методом главных компонент первую главную компоненту. Так что вспоминайте как матрицу 2х2 к главным осям приводить и ковариации считать.

Решение:

Рассмотрим следующую задачу: $p = 5$ , $x 1 = (1,1)$ , $x 2 = (1,2)$ , $x 3 = (3,2)$ , $x 4 = (4,1)$ , $x 5 = (6,4)$ .

Находим $\hat{x}=\frac{1}{n}\sum_{i=1}^px_i=(3,2)$ .

Находим $S=\frac{1}{p}\sum_{i=1}^p(x_i-\hat{x})^T(x_i-\hat{x})= \frac{1}{5}\begin{pmatrix}18 && 7 \\ 7 && 6 \end{pmatrix}$

Решаем $|S-\lambda I| = 0 \Rightarrow \lambda=2.4\pm \sqrt{3.4}$

Находим собственный вектор, соответствующий $\lambda_1=2.4+\sqrt{3.4}$ , решая $(S-\lambda_1I)\hat{d}=0$ . Получаем $\hat{d}=(0.9085, 0.4179)$ - собственный вектор, соответствующий максимальному собственному значению матрицы ковариации. Он и будет являться первой главной компонентой.

Подробные вычисления не приведены. Можете сами повторить и сверить результаты. Однако сильно не надейтесь найти ошибку, решение проверено в MATLAB.

2. Как метко заметил Оверрайдер, будут задачки на поиск оценки максимального правдоподобия. Не сложные, но чтобы было интереснее, не с нормальным распределением. Что-нибудь типа найти оценку МП на параметр распределения Лапласа.

Решение:

3. Обязательно кому-то дам задачку на условную максимизацию квадратичной функции с линейным ограничением в виде равенства. Писанины там немного, но вот без правила множителей Лагранжа обойтись вряд ли удастся.

Решение:

4. Даны 3-4 точки в двухмерном пространстве - одна координата, это х, другая - t. Задача построить по ним линейную регрессию вида $\hat{t}=kx+b$ , т.е. найти коэффициенты $k$ и $b$ .

Решение:

$E(T,X,k,b)=\sum_{i=1}^n(t_i-kx_i-b)^2$

$\frac{\partial E(T,X,k,b)}{\partial k}=2\sum_{i=1}^n(t_i-kx_i-b)(-x_i)=0 \Rightarrow \sum_{i=1}^n(t_i-kx_i-b)x_i=0$

$\frac{\partial E(T,X,k,b)}{\partial b}=2\sum_{i=1}^n(t_i-kx_i-b)(-1)=0 \Rightarrow \frac{1}{n}\sum_{i=1}^n(t_i-kx_i)=b$

$k \left(\sum_{i=1}^nx_i^2-\frac{1}{n}\left(\sum_{i=1}^nx_i\right)^2\right)=\sum_{i=1}^nt_ix_i-\frac{1}{n}\left(\sum_{i=1}^nx_i\right)\left(\sum_{i=1}^nt_i\right)$

Подставляем значения для $x i$ и $t i$ , получаем $k$ , затем $b$ . Решение проверено на нескольких наборах данных в MATLAB.

Еще один вариант - посчитать напрямую $(k, b) = (X T X) - 1 X T Y$ , где $X$ - матрица, первый столбец которой составлен из $x i$ , второй - из единиц, а $Y$ - столбец из $t i$ .