Редактирование: ПОД: Ответы старые
Материал из eSyr's wiki.
Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
| Текущая версия | Ваш текст | ||
| Строка 1: | Строка 1: | ||
| - | + | = 1. Информация и её измерения. = | |
| + | |||
| + | Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности: | ||
| + | в обиходе информацией называют любые данные или сведения, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п. "Информировать" в этом смысле означает "сообщить нечто, неизвестное раньше"; | ||
| + | в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов; | ||
| + | в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер). | ||
| + | |||
| + | Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то. | ||
| + | |||
| + | Приведем еще несколько определений: | ||
| + | Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (Н.В. Макарова); | ||
| + | Информация — это отрицание энтропии (Леон Бриллюэн); | ||
| + | Информация — это мера сложности структур (Моль); | ||
| + | Информация — это отраженное разнообразие (Урсул); | ||
| + | Информация — это содержание процесса отражения (Тузов); | ||
| + | Информация — это вероятность выбора (Яглом). | ||
| + | |||
| + | Современное научное представление об информации очень точно сформулировал Норберт Винер, "отец" кибернетики. А именно: | ||
| + | Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств. | ||
| + | |||
| + | Подходы к определению количества информации. Формулы Хартли и Шеннона. | ||
| + | |||
| + | Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N. | ||
| + | Формула Хартли: I = log2N | ||
| + | |||
| + | Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации. | ||
| + | |||
| + | Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. | ||
| + | Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), | ||
| + | где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений. | ||
| + | |||
| + | Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли. | ||
| + | |||
| + | Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями. | ||
| + | |||
| + | В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра). | ||
| + | Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.). | ||
| + | |||
| + | В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд. | ||
| + | |||
| + | = 2.Арифметические вычисления до эры ЭВМ. = | ||
| + | |||
| + | = 3.Эволюционная классификация ЭВМ. = | ||
| + | |||
| + | = 4.Принципы фон Неймановской архитектуры. = | ||
| + | |||
| + | = 5.Виды запоминающих устройств. = | ||
| + | |||
| + | = 6.Адресация ОЗУ. = | ||
| + | |||
| + | = 7.Расслоение оперативной памяти. = | ||
| + | |||
| + | = 8.Ассоциативная память. = | ||
| + | |||
| + | = 9.Виртуальная память. = | ||
| + | |||
| + | = 10.Алгоритмы управления страницами ОЗУ. = | ||
| + | |||
| + | = 11.Использование в ЭВМ принципа локальности вычислений. = | ||
| + | |||
| + | = 12.Полностью ассоциативная кэш-память. = | ||
| + | |||
| + | = 13.Кэш-память с прямым отображением. = | ||
| + | |||
| + | = 14.Частично-асссоциативная кэш-память. = | ||
| + | |||
| + | = 15.Изменение данных в кэш памяти. = | ||
| + | |||
| + | = 16.Учет параметров кэша при программировании задач. = | ||
| + | |||
| + | = 17.Конвейерная обработка данных. = | ||
| + | |||
| + | = 18.Внеочередное выполнение команд. = | ||
| + | |||
| + | = 19.Производительность конвейеров. = | ||
| + | |||
| + | = 20.Векторно-конвейерные вычислители. = | ||
| + | |||
| + | = 21.Конвейерная обработка команд. = | ||
| + | |||
| + | = 22.Конвейерные конфликты. = | ||
| + | |||
| + | = 23.Спекулятивное выполнение команд. = | ||
| + | |||
| + | = 24.Статическое предсказание условных переходов. = | ||
| + | |||
| + | = 25.Механизмы динамического предсказания переходов. = | ||
| + | |||
| + | = 26.Обработка условных операторов в EPIC. = | ||
| + | |||
| + | = 27.Эволюция системы команд микропроцессоров. = | ||
| + | |||
| + | = 28.Суперскалярные микропроцессоры. = | ||
| + | |||
| + | = 29.Широкоформатные команды для параллельной обработки данных. = | ||
| + | |||
| + | = 30.Проект EPIC. = | ||
| + | |||
| + | = 31.Мультитредовые, многоядерные вычислители. = | ||
| + | |||
| + | = 32.Классификация параллельных вычислителей по Флинну. = | ||
| + | |||
| + | = 33.Статические коммутационные сети. = | ||
| + | |||
| + | = 34.Динамические коммутаторы. = | ||
| + | |||
| + | = 35.Метакомпъютинг. = | ||
| + | |||
| + | = 36.Вычислительные кластеры. = | ||
| + | |||
| + | = 37.Матричные параллельные мультипроцессоры. = | ||
| + | |||
| + | = 38.Симметричные мультипроцессоры. = | ||
| + | |||
| + | = 39.Архитектура памяти cc-NUMA. = | ||
| + | |||
| + | = 40.Парадигмы программирования для параллельных вычислителей. = | ||
| + | |||
| + | = 41.Нетрадиционные вычислители. = | ||
| + | |||
| + | = 42.Организация вычислений на графе. = | ||
| + | |||
| + | = 43.Реализация потоковых машин. = | ||
| + | |||
| + | = 44.Нейронные сети как вычислители. = | ||
| + | |||
| + | = 45.Измерения производительности ЭВМ. = | ||
| + | |||
| + | = 46.Реальная и полная производительность вычислителей. = | ||
| + | |||
| + | = 47.Пакеты для измерения производительности вычислительных систем. = | ||
| + | |||
| + | = 48.Параметры рейтинга ТОР500. = | ||
| + | |||
| + | = 49.Закон Амдала. = | ||
| + | |||
| + | = 50.Параллельные алгоритмы. Метрики. = | ||
| + | |||
| + | = 51.Параллельные алгоритмы редукции. = | ||
| + | |||
| + | = 52.Распараллеливание алгоритмов рекурсии первого порядка. = | ||
| + | |||
| + | = 53.Векторизация последовательных программ. = | ||
| + | |||
| + | = 54.Синхронизация параллельных процессов. = | ||
| + | |||
| + | = 55.Исполняемые комментарии в языках программирования. = | ||
| + | |||
| + | = 56.Система Open MP. = | ||
| + | |||
| + | = 57.Пакет MPI. = | ||
| + | |||
| + | = 58.Язык Фортран-GNS. = | ||
| + | |||
| + | = 59.Порождение параллельных процессов. Идентификация абонентов. = | ||
| + | |||
| + | = 60.Протоколы передачи сообщений. = | ||
| + | |||
| + | = 61.Учет топологии кластера в МР программировании. = | ||
| + | |||
| + | = 62.Язык Фортран-DVM. = | ||
| + | |||
| + | = 63.Система программирования НОРМА. = | ||
| + | |||
| + | = 64.Особенности машинной арифметики. = | ||
| + | |||
| + | = 65.Погрешности параллельных вычислений. Оценить ошибки суммирования. = | ||
| + | |||
| + | = 66.Алгоритмы оптимизации программ, влияющие на точность вычислений. = | ||
