МОТП, Задачи на экзамене
Материал из eSyr's wiki.
Строка 3: | Строка 3: | ||
''За нерешение данных задач оценка снижается на балл.'' — Д. П. Ветров | ''За нерешение данных задач оценка снижается на балл.'' — Д. П. Ветров | ||
- | ==1. Вывод формул для векторного дифференцирования== | + | ==Задача 1. Вывод формул для векторного дифференцирования== |
Вывести (считаем все матрицы вещественными): | Вывести (считаем все матрицы вещественными): | ||
Строка 33: | Строка 33: | ||
<math>B\bar{u}=\bar{b}_1u_1+\dots+\bar{b}_nu_n \Rightarrow \frac{\partial B\bar{u}}{\partial u_i}=b_i \Rightarrow \frac{\partial B\bar{u}}{\partial \bar{u}}=B=2A^TA</math> | <math>B\bar{u}=\bar{b}_1u_1+\dots+\bar{b}_nu_n \Rightarrow \frac{\partial B\bar{u}}{\partial u_i}=b_i \Rightarrow \frac{\partial B\bar{u}}{\partial \bar{u}}=B=2A^TA</math> | ||
- | ==3. Метод главных компонент (PCA)== | + | ==Задача 3. Метод главных компонент (PCA)== |
Даны ''р'' точек в двухмерном пространстве. Найти методом главных компонент первую главную компоненту. | Даны ''р'' точек в двухмерном пространстве. Найти методом главных компонент первую главную компоненту. | ||
Строка 51: | Строка 51: | ||
Находим собственный вектор, соответствующий <math>\lambda_1=2.4+\sqrt{3.4}</math>, решая <math>(S-\lambda_1I)\hat{d}=0</math>. Получаем <math>\hat{d}=(0.9085, 0.4179)</math> — собственный вектор, соответствующий максимальному собственному значению матрицы ковариации. Он и будет являться первой главной компонентой. | Находим собственный вектор, соответствующий <math>\lambda_1=2.4+\sqrt{3.4}</math>, решая <math>(S-\lambda_1I)\hat{d}=0</math>. Получаем <math>\hat{d}=(0.9085, 0.4179)</math> — собственный вектор, соответствующий максимальному собственному значению матрицы ковариации. Он и будет являться первой главной компонентой. | ||
- | == 4. Метод максимального правдоподобия (ММП)== | + | ==Задача 4. Метод максимального правдоподобия (ММП)== |
Как метко заметил Оверрайдер, будут задачки на поиск оценки максимального правдоподобия. Не сложные, но чтобы было интереснее, не с нормальным распределением. Что-нибудь типа найти оценку МП на параметр распределения Лапласа. | Как метко заметил Оверрайдер, будут задачки на поиск оценки максимального правдоподобия. Не сложные, но чтобы было интереснее, не с нормальным распределением. Что-нибудь типа найти оценку МП на параметр распределения Лапласа. | ||
Строка 81: | Строка 81: | ||
<math>\frac{\partial \log p(X|\lambda)}{\partial \lambda}=\frac{n}{\lambda}-\sum_{i=1}^n|x_i|=0 \Rightarrow \frac{1}{\lambda}=\frac{1}{n}\sum_{i=1}^n|x_i|</math> | <math>\frac{\partial \log p(X|\lambda)}{\partial \lambda}=\frac{n}{\lambda}-\sum_{i=1}^n|x_i|=0 \Rightarrow \frac{1}{\lambda}=\frac{1}{n}\sum_{i=1}^n|x_i|</math> | ||
- | ==5. Линейная регрессия== | + | ==Задача 5. Линейная регрессия== |
Даны 3-4 точки в двухмерном пространстве - одна координата, это х, другая - t. Задача построить по ним линейную регрессию вида <math>\hat{t}=kx+b</math>, т.е. найти коэффициенты <math>k</math> и <math>b</math>. | Даны 3-4 точки в двухмерном пространстве - одна координата, это х, другая - t. Задача построить по ним линейную регрессию вида <math>\hat{t}=kx+b</math>, т.е. найти коэффициенты <math>k</math> и <math>b</math>. | ||
Строка 98: | Строка 98: | ||
Еще один вариант - посчитать напрямую <math>(k,b)=(X^TX)^{-1}X^TY</math>, где <math>X</math> - матрица, первый столбец которой составлен из <math>x_i</math>, второй - из единиц, а <math>Y</math> - столбец из <math>t_i</math>. | Еще один вариант - посчитать напрямую <math>(k,b)=(X^TX)^{-1}X^TY</math>, где <math>X</math> - матрица, первый столбец которой составлен из <math>x_i</math>, второй - из единиц, а <math>Y</math> - столбец из <math>t_i</math>. | ||
- | ==6. Правило множителей Лангранжа== | + | == Задача 6. Правило множителей Лангранжа== |
Обязательно кому-то дам задачку на условную максимизацию квадратичной функции с линейным ограничением в виде равенства. Писанины там немного, но вот без правила множителей Лагранжа обойтись вряд ли удастся. | Обязательно кому-то дам задачку на условную максимизацию квадратичной функции с линейным ограничением в виде равенства. Писанины там немного, но вот без правила множителей Лагранжа обойтись вряд ли удастся. | ||
Версия 07:08, 26 мая 2010
Математические основы теории прогнозирования
Материалы по курсу
Билеты (2009) | Примеры задач (2009) | Примеры задач контрольной работы (2013) | Определения из теории вероятностей
За нерешение данных задач оценка снижается на балл. — Д. П. Ветров
Содержание |
Задача 1. Вывод формул для векторного дифференцирования
Вывести (считаем все матрицы вещественными):
Решение
Формула 1
Формула 2
Далее через всюду обозначен столбец матрицы A с номером i.
Формула 3
Далее через всюду обозначен столбец матрицы B с номером i.
Задача 3. Метод главных компонент (PCA)
Даны р точек в двухмерном пространстве. Найти методом главных компонент первую главную компоненту.
Решение
Рассмотрим следующую задачу: p = 5, x1 = (1,1), x2 = (1,2), x3 = (3,2), x4 = (4,1), x5 = (6,4).
Находим .
Находим
Решаем .
Находим собственный вектор, соответствующий , решая . Получаем — собственный вектор, соответствующий максимальному собственному значению матрицы ковариации. Он и будет являться первой главной компонентой.
Задача 4. Метод максимального правдоподобия (ММП)
Как метко заметил Оверрайдер, будут задачки на поиск оценки максимального правдоподобия. Не сложные, но чтобы было интереснее, не с нормальным распределением. Что-нибудь типа найти оценку МП на параметр распределения Лапласа.
Решение
Плотность распределения Лапласа: , μ - сдвиг, b - масштаб (подробнее в википедии).
Вариант 1: неизвестный сдвиг, единичный масштаб
Пусть есть распределение Лапласа с неизвестным матожиданием и единичным параметром масштаба. Дана выборка, взятая из этого распределения: . Оценим параметр μ.
Функция распределения запишется так:
Функция правдоподобия:
Покажем, что эта функция достигает максимума в точке -- когда параметр равен медиане выборки.
Упорядочим выборку по возрастанию. Пусть теперь она выглядит так: . Рассмотрим последнюю функцию на интервалах вида . На первом из них все функции под знаком суммы возрастают, итоговая производная равна n, на втором -- одна убывает, остальные возрастают, производная равна (n-2), и т.д. Переломный момент наступает в середине -- в одной точке перегиба (если n нечётно), или на центральном интервале производная равна 0 (если n чётно). После этого функция только убывает. Там и достигается максимум правдоподобия. Короче, нужно нарисовать график, и всё будет понятно: максимум правдоподобия достигается в точке, равной медиане выборки.
Вариант 2: нулевой сдвиг, неизвестный масштаб
Задача 5. Линейная регрессия
Даны 3-4 точки в двухмерном пространстве - одна координата, это х, другая - t. Задача построить по ним линейную регрессию вида , т.е. найти коэффициенты k и b.
Решение
Подставляем значения для xi и ti, получаем k, затем b. Решение проверено на нескольких наборах данных в MATLAB.
Еще один вариант - посчитать напрямую (k,b) = (XTX) − 1XTY, где X - матрица, первый столбец которой составлен из xi, второй - из единиц, а Y - столбец из ti.
Задача 6. Правило множителей Лангранжа
Обязательно кому-то дам задачку на условную максимизацию квадратичной функции с линейным ограничением в виде равенства. Писанины там немного, но вот без правила множителей Лагранжа обойтись вряд ли удастся.
Решение
Пусть нам необходимо максимизировать функцию f(x,y) = − 5x2 + 2xy − 3y2 при условии x − y + 1 = 0.
Запишем функцию Лагранжа .
Приравняем частные производные к нулю:
.
(По-моему, гораздо проще без функции Лагранжа: y = x + 1;f(x) = − 6x2 − 4x − 3;x = − b / 2a = − 4 / 12 = − 1 / 3)
Математические основы теории прогнозирования
Материалы по курсу
Билеты (2009) | Примеры задач (2009) | Примеры задач контрольной работы (2013) | Определения из теории вероятностей