Если вы посещали занятия постатистике— вы, возможно, проходили тему «общая теория меры». Там могла идти речь омере и обинтеграле Лебега, атакже— обих связи сдругими способами интегрирования. Если наваших занятиях много внимания уделялось математике (такбыло уменя), то наних вы вполне могли познакомиться с теоремой Каратеодори опродолжении меры и даже сосновами теории операторов на гильбертовых пространствах, атакже— с преобразованиями Фурье и много счем ещё. Большинство этих математических конструкций нацелено надоказательство одной изсамых важных теорем, накоторой основана огромная часть статистики. Речь идёт о центральной предельной теореме (ЦПТ).
ЦПТ утверждает, чтодляширокого класса того, чтомы называем вматематике «случайными величинами» (которые представляют собой результаты проведения некоего эксперимента, включающего всебя элемент случайности), дотех пор, пока они удовлетворяют определённым условиям (как может показаться— простым), их среднее значение сходится кслучайной величине определённого типа, который называют «нормальным» или «Гауссовым».
Вот те два условия, которым должны удовлетворять эти величины:
Они независимы друг отдруга.
Они имеют конечную дисперсию.
Наобычном языке это означает то, чтоотдельные случайные измерения (эксперименты) «не знают» ничего друг одруге, и то, чтокаждое изэтих измерений «большую часть времени» пребывает вограниченном диапазоне значений, так какего практически всегда можно «измерить» спомощью прибора, обладающего конечной шкалой значений. Оба эти предположения выглядят разумными и универсальным. Тут можнобыстро заметить то стечение обстоятельств, которое должно привести кпоявлению распределения Гаусса.
Каждый раз, когда мы имеем дело сбольшим количеством агентов, показаний приборов, измерений, которые «не связаны друг сдругом»— мы выходим нараспределение Гаусса. Просто волшебство какое‑то. Акактолько унас будет нормальное распределение— мы сможем кое‑что сказать осоответствующих средних показателях. Так какраспределение Гаусса полностью определяетсялишь двумя числами— математическим ожиданием и дисперсией, мы можем, собрав достаточно данных, довольно точно оценить эти значения. Апосле того, какмы оценим эти значения— мы можем начинать делать прогнозы относительно, например, вероятности того, чтозаданная сумма случайных показателей превысит некое значение. Почти всё то, чтомы называем «статистикой», основано наэтой идее. Речь идёт оразличных тестах, омоделях и опрочем подобном. Именно так мы приручаем случайность. Насамом деле, часто те, кто завершают курс статистики, думают, чтоколоколообразная кривая распределения Гаусса— это единственное распределение, которое что‑то значит, и чтовсё остальное относится кразряду математических курьёзов, которым нет никакого практического применения. Это, какмы скоро выясним, серьёзная ошибка.
Вернёмся кдопущениям ЦПТ, которые могут показаться достаточно безобидными: мы предполагаем, чтопеременные независимы. Нокаково точное значение этого понятия? Говоря математическим языком мы просто разводим руками и сообщаем, чтовероятность одновременного наступления событий X и Y равна произведению их вероятностей. Если выразить это другими словами, то получится, чтораспределение вероятности одновременного наступления событий можно разложить напроекции распределений вероятностей наступления отдельных событий. Отсюда следует то, чтознание результата X недаёт абсолютно никакой информации орезультате Y. Это, кроме прочего, означает, чтоX никоим образом невоздействует наY. И, более того, означает, чтоничто недействует одновременно наX и наY.Бываетли такое хоть когда‑нибудь вреальном мире?
Нодело осложняется ещё и тем, что, встрогом математическом смысле, два физических события, которые, образно выражаясь, «освещают» друг друга, неявляются, стехнической точки зрения, независимыми. Тоже самое можно сказать даже и одвух событиях, которые одновременно «освещает» третье событие. Онилибо, донекоторой степени, «знают» «друг одруге»,либо «знают» окаком‑то другом событии, которое имело место впрошлом и могло повлиять наоба эти события. Напрактике, конечно, мы это игнорируем. Вбольшинстве случаев эта «информация» или «зависимость» настолько слаба, чтоэто ничуть немешает отличной работе ЦПТ и даёт статистикам надежду спокойно дожить доследующего дня. Нонасколько надёжна ЦПТ втом случае, если события невполне «независимы»? Ксожалению— именно этот вопрос многие курсы постатистике обходят стороной, недавая даже его понимания наинтуитивном уровне.
Поэтому устроим небольшой эксперимент. Ниже показаны результаты проведённой мной симуляции, представленные ввиде 400×200=80000независимых пикселей. Каждый изних принимает случайное значение между нулём и единицей (код можно найти здесь). Я усреднил полученные значения и построил ниже изображения гистограмму. Индивидуальные значения, илирезультаты эксперимента, отмечены красной вертикальнойлинией. Тут мы видим ЦПТ вдействии. Колоколообразная кривая выглядит именно так, какожидалось!
Видео
Симуляция независимых пикселей
Теперь немного модифицируем этот эксперимент, добавляя ккаждому изэтих пикселей небольшие случайные значения (в диапазоне -0.012, 0.012). Так мы имитируем слабый внешний фактор, воздействующий навсе пиксели. Этот фактор настолько незначителен, чтоего воздействие нанаше поле пикселей почти невозможно заметить. Но, так какЦПТ аккумулирует данные, даже такие незначительные «общие» отклонения оказывают разрушительное воздействие наэксперимент.
Симуляция пикселей, на которые что-то влияет
Мы сразуже замечаем то, чтообразцы больше неотносятся краспределению Гаусса. Мы регулярно видим отклонения, сильно превышающие 6–10сигм. Этого, приработе сданными, описываемыми распределением Гаусса, недолжно происходить практически никогда. ЦПТ, насамом деле, оказывается очень хрупкой конструкцией втех случаях, когда между исследуемыми данными имеется хотябы очень слабая зависимость. Всё это понятно, но… естьли уэтого какие‑то последствия?
Кто‑то может подумать, чтоэто ерунда. Если это— нераспределение Гаусса, то, возможно— какое‑то другое, азначит— есть аналогичные инструменты и длятакого варианта развития событий. Ну… и да, и нет.
Насамом деле— изучены и другие типы распределений вероятностей. Кривая распределения Коши (я писал обэтом) выглядит почти также, какколоколообразная кривая распределения Гаусса. Приэтом случайная величина, имеющая распределение Коши неимеет математического ожидания и дисперсии. И существуют даже версии «ЦПТ» дляраспределения Коши, поэтому можно подумать, чтоэто—лишь «менее компактное» распределение Гаусса. Ноэто— мысль, которая очень и очень далека отистины. Подобные распределения часто называют распределениями с «толстыми хвостами» (это так из‑за того, чтовхвост и запределы «центральной» части распределения попадает гораздо больше «веса»). Такие распределения являют собой странные и проблематичные сущности. Большая часть того, чтомы, работая с «Гауссовой» статистикой, принимаем какдолжное, недействует приработе сдругими распределениями. Множество таинственных свойств связывают эти распределения стакими понятиями, каксложность, фракталы, перемежающийся хаос, странные аттракторы, эргодическая динамика. Эти связи нам досих пор доконца непонятны.
Например, посмотрим нато, каксредние значения ведут себя прираспределении Гаусса, Коши и Парето.
Обратите внимание нато, чтонаграфиках изображены необразцы, асредние значения, взятые повсё более длинным последовательностям образцов. Значения, описываемые распределением Гаусса, сходятся, каки ожидается, оченьбыстро. Значения, описываемые распределением Коши, никогда несходятся, азначения, описываемые распределением Парето, сходятся приalpha=1.5, хотя и гораздо медленнее, чем вслучае сраспределением Гаусса. Переход от 10тысяч образцов кмиллиону позволяет ярче увидеть происходящее:
Получается, чтоприиспользовании распределения Коши значения варьируются так сильно, чтосреднее, буквально— первый момент распределения— никогда несходится. Подумайте обэтом: после миллионов и миллионов значений появляется ещё одно единственное значение, которое сдвигает всё эмпирическое среднее насерьёзную величину. И неважно то, сколько доэтогобыло значений— даже после квадриллионов значений, уже «усреднённых», появляется всего одно значение, настолько большое, чтооно способно сдвинуть всё среднее значение набольшую величину. Это— очень и очень странно всравнении счем‑либо, связанным сраспределением Гаусса.
Хорошо, аимеетли это какое‑то значение напрактике? Скажем— естьли уэтого какие‑то последствия длястатистических методов, вроде тех, чтоиспользуются внейронных сетях и вискусственном интеллекте? Длятого чтобы узнать ответ наэтот вопрос— можно провести очень простой эксперимент. Будем выбирать образцы израспределений сцентром взначениях -1и 1. Мы хотим оценить «центральную точку», которая лучше всего разделяет образцы изэтих двух распределений, учитывая то, чтоони могут внекоторой степени перекрываться. Симметрия всей этой конструкции подсказывает нам, чтотакая вот наилучшая точка, разделяющая распределения— это 0. Нопопробуем это выяснить входе итеративного процесса, основанного навзятии образцов. Начнём поиск спредположения онаилучшем разделяющем значении и, получая новую информацию, будем, постепенно снижая скорость обучения, приближать его кполученным образцам. Если мы решим использовать одинаковое количество образцов изкаждого распределения— тогда мы можем ожидать того, чтоэтот процесс сойдётся кправильному значению.
Мы повторим эксперимент длядвух экземпляров распределения Гаусса и распределения Коши, какпоказано ниже (обратите внимание нато, как, напервый взгляд, похоже выглядят эти распределения).
В случае с распределением Гаусса мы получаем именно такой результат, как ожидали.
А вот в случае с распределением Коши всё выглядит немного сложнее, чем казалось.
Показатель, полученный входе итеративного процесса, витоге сходится, так какмы постоянно снижаем скорость обучения. Носходится он ксовершенно произвольному значению! Мы можем повторить этот эксперимент много раз, и каждый раз будем получать разные значения! Представьте себе, чтомы тут наблюдаем то, каксходятся значения весов вглубинах некоей нейронной сети. И даже хотя каждый раз они сходятся к «чему‑то», речь идёт онеких случайных значениях, анеозначениях оптимальных. Если хотите порассуждать обэтом, применяя понятия энергетического ландшафта и минимизации ошибок, то получится следующее. Эта ситуация соответствует очень плоскому ландшафту, градиенты накотором практически равны нулю, аитоговое значение параметра зависит восновном оттого, куда его завело воздействие образцов, взятых дотого, какскорость обучения стала очень маленькой.
Сэтим мы разобрались. Асуществуютли подобные распределения вреальном мире? Вконце концов, преподаватель постатистике сказал, чтопрактически всё можно описать спомощью распределения Гаусса. Вернёмся квопросу отом, почему мы вообще видим распределение Гаусса практически повсюду. Это так исключительно из‑за центральной предельной теоремы и из‑за того факта, чтомы наблюдаем что‑то, чтоявляется результатом независимого усреднения множества случайных сущностей. Речь может идти очём угодно: осоциологии, омолекулярной физике, одинамике фондового рынка. Аизвышеприведённого эксперимента мы знаем отом, чтоЦПТ перестаёт работать втом случае, если наблюдения хотябы немного зависят друг отдруга. Какподобные зависимости возникают вреальном мире? Обычно они возникают из‑за пертурбаций, которые приходят всистему изсистем другого масштаба. Это можетбыть что‑то большое, меняющее всё вокруг, иличто‑то маленькое, которое, опятьже, всё вокруг меняет.
Поэтому, например, молекула газа ввоздушной камере будет двигаться, подчиняясь законам распределения Максвелла‑Больцмана (его можно рассматривать какурезанное распределение Гаусса). Новот— приходит техник и открывает клапан, позволяя газу выйти изкамеры вкомнату. Это событие полностью изменит то, какдвигается молекула газа. Или, втомже примере сгазом, вкомнате ниже начинается пожар. Камера нагревается, молекулы ускоряются. Илинад лабораторией взрывается ядерная бомба, которая испаряет воздушную камеру вместе сеё содержимым. Отсюда можно сделать следующий вывод: всложной, нелинейной реальности, вкоторой мы живём, явления вопределённых системах нанекие промежутки времени подчиняются законам распределения Гаусса. Эти спокойные периоды прерываются «вмешательствами», исходящими «снаружи» системы—либо всмысле пространства,либо всмысле масштаба,либо— и втом и вдругом сразу.
Поэтому настоящие «толстые хвосты», которые мы видим вреальном мире— это нечто более коварное, чем то, чтоописывается простыми распределениями Коши илиПарето. Они, некоторое время, может— годы илидесятилетия, могут вести себя какраспределения Гаусса. Азатем внезапно «переворачиваются» на 10сигм илибо впадают вполное безумие,либо снова продолжают вести себя какраспределения Гаусса. Это очень хорошо видно награфиках фондовых индексов. Втечение длительных периодов времени они представляют собой суммы сравнительно независимых акций и ведут себя каксущности, описываемые распределением Гаусса. Апотом какой‑нибудь банк сообщает обанкротстве, инвесторы паникуют и внезапно оказывается, чтовсе акции виндексе нельзя назвать «независимыми». Они, скорее, сильно друг сдругом коррелируют. Тотже шаблон применим приописании практически любых явлений: это и погода, и социальные системы, и экосистемы, и движение тектонических плит, и сход лавин. Почти ничто изтого, счем мы сталкиваемся, ненаходится в «состоянии равновесия». Всё, скорее, находится впроцессе поиска псевдостабильного состояния, сначала делая это очень медленно, авитоге— чрезвычайнобыстро.
Живые существа нашли способы ориентироваться вэтих постоянных переходах между состояниями (в определённых пределах, конечно). Авот статические артефакты, вособенности— сложные, например— машины, созданные человеком, обычно хорошо чувствуют себя только вочень узком диапазоне условий. Когда условия меняются— машины нуждаются в «подстройке». Общество и рынок, вцелом, постоянно проводят такие вод «подстройки», получая обратную связь отсамих себя. Мы живём вогромной реке спсевдостабильным течением. Новреальности единственное, чтоникогда неменяется— это постоянное стремление квосстановлению нарушенного равновесия и попадание вновые локальные энергетические минимумы.
Вышесказанное может звучать какнекие философские рассуждения, ноуэтого имеются вполне практические последствия. Например— тот факт, чтонет такого явления, как «общее умственное развитие» безвозможности постоянно и оченьбыстро обучаться новому и «подстраиваться» подновые условия. Нет такого понятия, как «безопасная компьютерная система» безвозможности постоянно её обновлять и устранять уязвимости, так какэти уязвимости находят и используют злоумышленники. Несуществует «стабильных экосистем», вкоторых разные виды живых существ живут рядом друг сдругом вполной гармонии. Небывает «оптимальных рынков», накоторых решены все споры между их участниками.
Цель этого поста заключается втом, чтобы рассказать отом, какограничены чисто статистические методы вмире, состоящем изсложных нелинейных динамических систем. Может— есть другой путь? Конечно есть— и биология являет собой экзистенциальное доказательство этому. Алюдей сбивает столку нето, чтоневсё вбиологии подчиняется «статистике». Конечно, донекоторой степени— подчиняется. Людей сбивает столку следующее: то, чтоты изучаешь, означает также много, както, какименно ты это изучаешь. Например— возьмём генераторы случайных чисел. Если мы видим массу чисел, каккажется— случайных— можноли сказать отом, чтоименно их сгенерировало? Вероятно— нет. Атеперь нанесём их наточечный график, сопоставим числа, идущие друг задругом. Иногда это называют спектральным тестом. Сделав это, мы внезапно увидим некую структуру (как минимум— дляпростыхлинейных генераторов случайных чисел, основанных наконгруэнтности). Чтомы только чтосделали? Мы побороли случайность, сделав предположение отом, чтозаэтой последовательностью чисел стоят некие динамические процессы. Мы предположили, чтоэти числа возникли неиз «волшебного чёрного ящика случайности», и чтомежду последовательными числами есть некая динамическая взаимосвязь. Затем мы перешли кобнаружению этой взаимосвязи. Аналогично, если говорить омашинном обучении, можно, например, связать метки со статическими образами. Ноэтот подход (хотя, каккажется, весьма успешный), похоже, склонен кнасыщению и квыдаче «хвоста» изглупых ошибок. Каксправиться сэтим хвостом? Возможно (здесь я выдвинул эту идею), надо провести нечто вроде «спектрального теста» и исследовать временные отношения между кадрами. Вконце концов— люди ведь воспринимают зрением ненабор случайных картинок, которые выскакивают уних перед глазами, появляясь из «чёрного ящика». Всё, чтомы видим, генерируется физическими процессами. Эти процессы развиваются всоответствии сзаконами природы.
Подозреваю, чтосистемы, которые «статистически изучают динамику развития мира», помере их усложнения, будут обладать весьма удивительными возникающими вних свойствами. Это похоже нате свойства, которые возникают вбольших языковых моделях, которые, между прочим, пытаются изучить «динамику языка». Я ожидаю, что, например, утаких систем появятся способности кобучению чему‑либо спервого раза. Аможет— и ещё что‑нибудь интересное. Ноэто— уже тема длядругого материала.
О, а приходите к нам работать? 🤗 💰
Мы вwunderfund.ioзанимаемсявысокочастотной алготорговлейс 2014 года. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.
Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов. Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.
Сейчас мы ищем плюсовиков, питонистов, дата-инженеров и мл-рисерчеров.
