Материал из eSyr's wiki.

Содержание 1 Часть 1 (Ветров) 1.1 Метод максимального правдоподобия. Его достоинства и недостатки. 1.2 Решение несовместных СЛАУ. 1.3 Задача восстановления линейной регрессии. Метод наименьших квадратов. 1.4 Задача восстановления линейной регрессии. Вероятностная поставновка. 1.5 Логистическая регрессия. Вероятностная постановка. 1.6 ЕМ-алгоритм для задачи разделения гауссовской смеси. 1.7 Основные правила работы с вероятностями. Условная независимость случайных величин. 1.8 Графические модели. Основные задачи, возникающие в анализе графических моделей. 1.9 Байесовские сети. Примеры. 1.10 Марковские сети. Примеры. 1.11 Скрытые марковские модели. Обучение СММ с учителем. 1.12 Алгоритм динамического программирования и его применение в скрытых марковских моделях. 1.13 ЕМ-алгоритм и его применение в скрытых марковских моделях. 1.14 Условная независимость в скрытых марковских моделях. Алгоритм «вперед-назад». 1.15 Метод релевантных векторов в задаче восстановления регрессии. 1.16 Метод релевантных векторов в задаче классификации. 1.17 Метод главных компонент. 1.18 Вероятностная формулировка метода главных компонент. 1.19 ЕМ-алгоритм в методе главных компонент. Его преимущества. 1.20 Метод главных компонент. Схема автоматического выбора числа главных компонент. 1.21 Недостатки метода главных компонент. Метод независимых компонент. 1.22 Нелинейные методы уменьшения размерности. Локальное линейное погружение. 1.23 Нелинейные методы уменьшения размерности. Ассоциативные нейронные сети и GTM. 2 Часть 2 (Рудаков) 2.1 Объекты, признаки, логические признаки, простейшие логические решающие правила. 2.2 Проблемы формирования логических признаков. Оценки качества признаков и их совокупностей. 2.3 Методы голосования по конъюнкциям. Алгоритмы типа "Кора". 2.4 Тесты, представительные наборы, проблемы перебора. 2.5 Пространства объектов для АВО. Обучающие и контрольные объекты. Метрические описания объектов в АВО. 2.6 Опорные множества в АВО. Функции близости. Веса объектов и признаков. 2.7 Формулы вычисления оценок. Эвристические обоснования. 2.8 Задачи оптимизации АВО. Совместные подсистемы систем неравенств. 2.9 Функционалы качества. Сложность моделей алгоритмов и проблема переобучения. 2.10 Общие пространства начальных и финальных информаций. Задачи синтеза корректных алгоритмов. 2.11 Разрешимость и регулярность задач распознавания. Регулярность по Ю.И. Журавлёву 2.12 Операции над алгоритмами. Расширение моделей. 2.13 Пространства оценок. Алгоритмы как суперпозиции. 2.14 Понятие полноты моделей алгоритмов и семейств корректирующих операций. 2.15 Дополнительные к прецедентам ограничения. Пример: перестановочность строк и столбцов в матрицах информации. 2.16 Задачи с непересекающимися классами. 2.17 Класс поэлементных операций и отображений. Условия регулярности и полноты. 2.18 Полнота моделей АВО. 2.19 Полнота полиномиальных семейств корректирующих операций. 2.20 Логарифмическая граница степени корректирующих полиномов. 2.21 Проблема построения набора базовых операторов для конкретных задач. Дефекты различимости и монотонности. Сходимость методов синтеза мультиалгоритмических конструкций.

Часть 1 (Ветров)

Метод максимального правдоподобия. Его достоинства и недостатки.

• вики:Метод максимального правдоподобия
• метода макс. правдоподобия по Черновой из НГУ

Недостатки:

• нужно знать априорное распределение (с точностью до параметров) наблюдаемой величины
• хорошо применим при допущении, что (асимптотически оптимален), что в реальности не так
• проблема выбора структурных параметров, позволяющих избегать переобучения (проблема вообще всех методов машинного обучения)
• необходима регуляризация метода

Решение несовместных СЛАУ.

В статистике, машинном обучении и теории обратных задач под регуляризацией понимают добавление некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение.

Несовместная СЛАУ -- система линейных уравнений, не имеющая ни одного решения.

Совместная СЛАУ -- система линейных уравнений, имеющая хотя бы одно решение.

Ридж-регуляризация (ридж-регрессия, регуляризация Тихонова) матрицы A^TA -- матрица A^TA + λI, где λ -- коэффициент регуляризации. Всегда невырождена при λ > 0

Нормальное псевдорешение СЛАУ Ax = b -- вектор x = (A^TA + λI) ^{− 1}A^Tb

• всегда единственно
• при небольших λ определяет псевдорешение с наименьшей нормой
• любое псевдорешение имеет минимальную невязку

Задача восстановления линейной регрессии. Метод наименьших квадратов.

• лекции Черновой из НГУ
• вики:Регрессионный анализ

Задача регрессионного анализа (неформально): Предположим имеется зависимость между наблюдаемыми признаками (случайной выборкой) X и некоторой переменной (параметром) t. Задача регрессионного анализа -- определение наличия и характера (математического уравнения, описывающего зависимость) связи между переменными

Пример: простой пример на пальцах: Linear Regression Example

-- функция потерь от ошибки. На пальцах: берем найденную путем регрессии функцию и сравниваем её выдачу на тех же наборах x, что и заданные результаты эксперимента t(x).

• 
• 
• 

Основная задача -- минимизировать эту функцию, что значит минимизировать

---

Метод наименьших квадратов -- минимизация функции потери ошибки

Особенности квадратичной функции потерь:

• Достоинтсва
  • гладкая (непрерывная и дифференцируемая)
  • решение может быть получено в явном виде
• Недостатки
  • решение неустойчиво
  • не применима к задачам классификации

Задача восстановления линейной регрессии. Вероятностная поставновка.

Представим регрессионную переменную как случайную величину с плотностью распределения p(t | x)

В большинстве случаев предполагается нормальное распределение относительно некоторой точки y(x) :

[?]: почему в лекциях (лекция 1, слайд 22): Как я понимаю -- это произвольный параметр, мы просто говорим, что он распределен нормально.

максимизируя правдоподобие получаем эквивалентность данного метода методу наименьших квадратов

Логистическая регрессия. Вероятностная постановка.

ЕМ-алгоритм для задачи разделения гауссовской смеси.

Основные правила работы с вероятностями. Условная независимость случайных величин.

Графические модели. Основные задачи, возникающие в анализе графических моделей.

Байесовские сети. Примеры.

На википедии

Марковские сети. Примеры.

Скрытые марковские модели. Обучение СММ с учителем.

На википедии

Викибуки

Алгоритм динамического программирования и его применение в скрытых марковских моделях.

ЕМ-алгоритм и его применение в скрытых марковских моделях.

Условная независимость в скрытых марковских моделях. Алгоритм «вперед-назад».

Метод релевантных векторов в задаче восстановления регрессии.

Метод релевантных векторов в задаче классификации.

Метод главных компонент.

Пусть имеется некоторая выборка . Цель -- представить выборку в пространстве меньшей размерности d < D таким образом, чтобы в новом пространстве "схожие" объекты образовывали компактные области.

Вероятностная формулировка метода главных компонент.

ЕМ-алгоритм в методе главных компонент. Его преимущества.

Метод главных компонент. Схема автоматического выбора числа главных компонент.

Недостатки метода главных компонент. Метод независимых компонент.

Нелинейные методы уменьшения размерности. Локальное линейное погружение.

Нелинейные методы уменьшения размерности. Ассоциативные нейронные сети и GTM.

Часть 2 (Рудаков)

Объекты, признаки, логические признаки, простейшие логические решающие правила.

Признаки объектов:

• детерминированные;
• вероятностные;
• логические;
• структурные.

Детерминированные признаки – это признаки, принимающие конкретные числовые значения, которые могут быть рассмотрены как координаты точки, соответствующей данному объекту, в n-мерном пространстве признаков.

Вероятностные признаки – это признаки, случайные значения которых распределены по всем классам объектов, при этом решение о принадлежности распознаваемого объекта к тому или другому классу может приниматься только на основании конкретных значений признаков данного объекта, определенных в результате проведения соответствующих опытов. Признаки распознаваемых объектов следует рассматривать как вероятностные и в случае, если измерение их числовых значений производится с такими ошибками, что по результатам измерний невозможно с полной определенностью сказать, какое числовое значение данная величина приняла.

Логические признаки распознаваемых объектов можно рассматривать как элементарные высказывания, принимающие два значения истинности (истина – ложь) с полной определенностью. К логическим признакам относятся прежде всего признаки, не имеющие количественного выражения. Эти признаки представляют собой суждения качественного характера типа наличия или отсутствия некоторых свойств или некоторых элементов у распознаваемых объектов или явлений. В качестве логических признаков можно рассматривать, например, такие симптомы в медицинской диагностике, как боль в горле, кашель и т.д. К логическим можно отнести также признаки, у которых важна не величина признака у распознаваемого объекта, а лишь факт попадания или непопадания ее в заданный интервал. В пределах этих интервалов появление различных значений признаков у распознаваемых объектов предполагается равновероятным. На практике логические признаки подобного рода имеют место в таких ситуациях, когда либо ошибками измерений можно пренебречь, либо интервалы значений признаков выбраны таким образом, что ошибки измерений практически не оказывают влияния на достоверность принимаемых решений относительно попадания измеряемой величины в заданный интервал.

Проблемы формирования логических признаков. Оценки качества признаков и их совокупностей.

Методы голосования по конъюнкциям. Алгоритмы типа "Кора".

Тесты, представительные наборы, проблемы перебора.

Пространства объектов для АВО. Обучающие и контрольные объекты. Метрические описания объектов в АВО.

Опорные множества в АВО. Функции близости. Веса объектов и признаков.

Формулы вычисления оценок. Эвристические обоснования.

Задачи оптимизации АВО. Совместные подсистемы систем неравенств.

Функционалы качества. Сложность моделей алгоритмов и проблема переобучения.

Общие пространства начальных и финальных информаций. Задачи синтеза корректных алгоритмов.

Разрешимость и регулярность задач распознавания. Регулярность по Ю.И. Журавлёву

Операции над алгоритмами. Расширение моделей.

Пространства оценок. Алгоритмы как суперпозиции.

Понятие полноты моделей алгоритмов и семейств корректирующих операций.

Дополнительные к прецедентам ограничения. Пример: перестановочность строк и столбцов в матрицах информации.

Задачи с непересекающимися классами.

Класс поэлементных операций и отображений. Условия регулярности и полноты.

Полнота моделей АВО.

Полнота полиномиальных семейств корректирующих операций.

Логарифмическая граница степени корректирующих полиномов.

Проблема построения набора базовых операторов для конкретных задач. Дефекты различимости и монотонности. Сходимость методов синтеза мультиалгоритмических конструкций.