Найдите энтропию подбрасывания одной монеты



Найдите энтропию подбрасывания одной монеты

В курсе теории вероятностей до сих пор мы находили, в том случае, когда это возможно, вероятности случайных событий. Здесь же мы обратим внимание на неопределенность связанных с этими событиями опытов. Интуитивно ясно, что степень неопределенности (неожиданности) при подбрасывании монеты или игрального кубика различна. Для практики важно уметь численно оценивать степень неопределенности самых разнообразных опытов, чтобы иметь возможность сравнивать их с этой стороны.

Исторически первые шаги к введению понятия энтропии были сделаны в 1928 г. американским инженером-связистом Хартли, предложившим характеризовать степень неопределенности опыта с различными исходами числом log . Однако он считал несущественным возможность неравновероятных исходов. Ошибочность точки зрения Хартли была показана Клодом Шенноном, предложившим принять в качестве меры неопределенности опыта с возможными исходами , , . величину

Он же предложил назвать это число «энтропией».

В применениях энтропии обычно используются логарифмы по основанию два. Это означает, что за единицу измерения энтропии принимается неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода. Такая единица измерения неопределенности называется двойной единицей, или .

Энтропию дискретного опыта предлагается находить как вес всего графа неопределенности

Реальная ценность понятия энтропии определяется в первую очередь тем, что выражаемая им «степень неопределенности» опытов оказывается во многих случаях именно той характеристикой, которая играет роль в разнообразных процессах, встречающихся в природе и технике и так или иначе связанных с передачей и хранением каких-либо сообщений.

Будущему педагогу понятие энтропии полезно знать, например, для возможного применения в экспериментальной психологии, одной из основных задач которой является изучение психологической реакции организма на какое-либо воздействие. Установлено, что среднее время реакции определяется энтропией опыта , состоящего в подаче сигнала.

Пример 111. Какую степень неопределенности содержит опыт извлечения карточки с простой цифрой, вынутой из разрезной цифровой азбуки?

Решение. Из десяти цифр четыре (2, 3, 5, 7) являются простыми, поэтому вероятность извлечь карточку с простой цифрой равна 0,4, а вероятность противоположного события . Воспользуемся формулой Шеннона

Пример 112. Какую степень неопределенности содержит угадывание месяца рождения случайно встреченного человека?

Решение. Поскольку можно считать равновероятным рождение неизвестного человека в любой из 12 месяцев, то воспользуемся формулой Хартли

Пример 113. В одной группе 6 студентов из 24 получили в сессию неудовлетворительную оценку, а в другой — 9 из 27. В каком случае сложнее предсказать успеваемость студента?

Решение. Используем формулу Шеннона

> , поэтому сложнее предсказать успеваемость студента во второй группе.

Пример 114. Какую степень неопределенности содержит опыт угадывания цвета двух шаров, извлеченных из урны, в которой находятся два белых и три черных шара?

Решение. Построим граф неопределенности данного опыта.

аходим как вес всего полученного графа.

Пример 115. Доказать, что у опытов с двумя исходами наибольшую энтропию имеет тот , у которого исходы равновероятны.

Решение. Построим график функции (основание у логарифма больше 1) и рассмотрим среднюю линию трапеции , где

, поскольку функция на промежутке выпукла вверх.

Вопросы для самоконтроля

1. Каковы основные требования к функции меры неопределенности?

2. Формула Хартли и ее недостатки.

3. Формула Шеннона.

4. В чем различие формул Хартли и Шеннона?

5. Какие свойства энтропии вы знаете?

6. В каком случае неопределенность опыта наибольшая?

7. Основные единицы измерения энтропии и их связь.

8. Бит и другие его названия.

I 221. Какую степень неопределенности содержит угадывание дня рождения случайно встреченного человека?

222. В каком случае менее предсказуем исход: в том, когда подбрасываем монету, или в том, когда угадываем пол первого случайно встреченного человека?

223. Что более непредсказуемо:

а) исход подбрасывания двух игральных костей или

б) угадывание карты из колоды в 36 карт (32 карты)?

224. В одной группе 6 студентов из 20 получили в сессию неудовлетвори-тельные оценки, а в другой — 8 из 24. В каком случае сложнее предсказать успевающего студента?

225. Одна урна содержит один белый и два черных шара, а другая — два белых и три черных. В каком случае угадывание цвета извлеченного из урны шара более предсказуемо?

226. Что более предсказуемо: угадывание масти случайно выбранной кар-ты из колоды в 32 карты или из колоды в 52 карты?

II 227. Какую степень неопределенности содержит опыт извлечения двух карт из колоды в 36 карт относительно козырных карт?

228. Найдите степень неопределенности извлечения двух шаров из урны, содержащей один белый, два черных и три красных шара.

III 229. В первой урне 2 белых и 4 черных шара, а во второй — 3 белых и 3 черных. Из каждой урны вынимают по два шара. Исход какого из этих двух опытов более непредсказуем?

230. В одной подгруппе 3 из 10 студентов получили неудовлетвори-тельную оценку по немецкому языку, а в другой — 4 из 12 по английскому. В каком случае сложнее предсказать успеваемость по иностранному языку двух случайно выбранных студентов одной подгруппы?

Источник

Python-сообщество

Уведомления

#1 Июль 7, 2014 20:41:05

Задачка с подбрасыванием монетки

Здравствуйте! Я бы хотел, чтобы вы мне помогли с решением задачи из книги Майкла Доусона “ Программируем на Питон, для начинающих”. Я буквально недавно начал изучать этот язык программирования да и вообще само программирование( в институте Паскаль изучали), и вроде бы примеры из этой книги более или менее понятны. Но вот решение некоторых задач для самопроверки в конце каждой главы, меня просто выбивает из колеи, потому что вроде бы как думаешь. что задания даются сугубо на основе пройденного материала, но сложности почему-то возникают довольно неприятные. Покупал эту книгу на Ozon. Там писалось, что все для новичков идеально разжевывается, но на своем опыте понимаю, что это далеко не так. Видимо еще и перевод с английского не идеален. Но все же продолжаю ее изучать. Может кто из старичков этого форума посоветует, как лучше изучать этот язык программирования.

А теперь сама задача: Напишите программу, которая бы “подбрасывала” условную монету 100 раз и сообщала, сколько раз выпал орел, а сколько — решка.

#2 Июль 7, 2014 20:57:10

Задачка с подбрасыванием монетки

Python777
Может кто из старичков этого форума посоветуйте

#3 Июль 7, 2014 22:31:49

Задачка с подбрасыванием монетки

А насчет задачки с монетой? Или это в другой раздел форума?
Вот один из моих вариантов неверного решения задачи:
import random
x=1
y=2
z=0
s = random.randint(1,2)
while z != 100:
s = random.randint(1,2)
z += 1
s += 1
print(s)
print(z)
input(“\n\nНажмите Enter, чтобы выйти.”)

Отредактировано Python777 (Июль 7, 2014 22:38:11)

#4 Июль 7, 2014 22:38:31

Задачка с подбрасыванием монетки

Python777
Я буквально недавно начал изучать этот язык программирования да и вообще само программирование( в институте Паскаль изучали)

Ну да, для начала нужно разделить кодинг и программирование. Кодинг программу не делает.

Это всё равно, что усиленно изучать кисти и краску, чтобы написать картину. Или усиленно изучать молоток, пилу, дерево и гвозди, чтобы построить дом.

Python777
А теперь сама задача: Напишите программу, которая бы “подбрасывала” условную монету 100 раз и сообщала, сколько раз выпал орел, а сколько — решка.

Источник

Энтропия случайного источника

Содержание

Определение [ править ]

Свойства [ править ]

Энтропия должна удовлетворять следующим требованиям:

• Функция [math]H(p_1, p_2, \dots, p_n)[/math] определена и непрерывна для всех таких наборов [math]p_i\in[0,\;1][/math] , что [math] \sum\limits_^ p_i = 1[/math]

• [math]H \underbrace< \left( \dfrac<1>, \dfrac<1>, \dots, \dfrac<1>\right)>_\text \lt H \underbrace< \left( \dfrac<1>, \dfrac<1>, \dots, \dfrac<1>\right) >_\text[/math]

• [math] H(p_<1>q_<11>, p_<1>q_<12>, \dots, p_q_) = H(p_1, p_2, \dots, p_n) + \sum\limits_^ p_iH(q_, \dots, q_)[/math]

Рассмотрим схему [math]\mathcal

_m[/math] c [math]m[/math] исходами и вероятностями [math]\[/math] и схему [math]\mathcal_k[/math] с [math]k[/math] исходами и вероятностями [math]\[/math] .

Образуем комбинированную схему c [math]m + k — 1[/math] исходами следующим образом:

Выбирается случайным образом один из исходов схемы [math]\mathcal

_m[/math] , и если произошел [math]m[/math] -й исход, выбирается случайно один из исходов схемы [math]\mathcal_k[/math] , а остальные [math]m — 1[/math] исходов схемы [math]\mathcal

_m[/math] считаются окончательными.

В этой комбинированной схеме [math]\mathcal[/math] мы получаем исходы [math]1, 2, \dots, m — 1, (m, 1), (m, 2), \dots, (m, k)[/math] с вероятностями [math]p_1, p_2, \dots, p_, p_mq_1, p_mq_2, \dots, p_mq_k[/math]

Легко видеть, что [math]H(\mathcal) = H(\mathcal

_m) + p_mH(\mathcal_k)[/math] .

Потребуем выполнения этого свойства для любой меры неопределенности. [math]\lhd[/math]

Вычисление энтропии [ править ]

Для доказательства формулы вычисления энтропии сначала докажем лемму.

Доказательство: [math]\triangleright[/math]

Будем рассматривать для [math]k=1[/math] (бит).

Рассмотрим функцию [math]g(mn)[/math] :

[math]g(mn)=g(m)+ \sum\limits_^ \dfrac<1> g(n) = g(m)+g(n)[/math]

Пусть: [math]g(2)=1 \quad[/math] , тогда [math]g(2^t)=t[/math] и [math] \quad g(n^t)=t \cdot g(n)[/math]

Рассмотрим такое [math] i [/math] , что [math]2^i \leqslant n^t \lt 2^[/math]

Можно заметить, что если [math] i=[ \log_2 n^t ] [/math] , то неравенство останется верным.

По предыдущим рассуждениям получаем, что:

[math]g(2^i) \leqslant g(n^t) \lt g(2^)[/math] [math] i \leqslant t \cdot g(n) \lt i+1 \quad \quad [/math]

Делим неравенство на [math]t[/math] :

[math]\dfrac \leqslant g(n) \lt \dfrac[/math] , то есть [math]\dfrac<[ \log_2 n^t ]> \leqslant g(n) \lt \dfrac<[ \log_2 n^t ]+1>[/math] Отсюда ясно, что если [math] t\rightarrow \infty[/math] , то получаем [math]g(n) = \log_2n[/math] [math]\triangleleft[/math]