Ученые математически смоделировали нейробиологию сна человека, чтобы увеличить емкость памяти искусственных нейронных сетей.
Сны бывают разными, чаще всего приятными. Когда мы спим, зрительные и звуковые фрагменты соединяются в непонятные целые повествования. Реальные воспоминания переплетаются с яркими воображаемыми сценами, мы встречаем в царстве Морфея реальных людей наравне с придуманными нашим бессознательным персонажами. Мы исследуем мир собственной фантазии, а иногда сталкиваемся лицом к лицу со своими страхами.
В это время мозг фильтрует информацию, поступившую в него днем. Нейронные процессы отделяют важное от неважного, формируют и складируют то, что станет теперь нашими воспоминаниями. Эти механизмы настолько эффективны, что группа итальянских исследователей из Университета Саленто (Италия) математически их смоделировала, чтобы применить в ИИ.
Результатом стал алгоритм, позволяющий расширить емкость памяти искусственных нейронных сетей (ИНС). Их погружают в сон – вводы в режим оффлайн. В это время они закрепляют релевантные «воспоминания» и стирают нерелевантные.
Руководил исследованиями физик-теоретик Адриано Барра. Совместно с коллегами он изучает сложные системы – такие как мозг – и создает математические модели их нейробиологии. «Мы строим мост между нейробиологией и инженерией», — говорит Барра.
В бодрствующем состоянии ИНС постоянно получают новую информацию – в том числе, много мусора и даже заведомо ложных данных. «Вы неизбежно заставляете сеть складировать в своей памяти и ошибки, — объясняет Барра. – Этого нельзя избежать, ведь они сгенерированы математически». При этом запасы памяти ИНС ограничены и далеко не достигают своего теоретического предела. Если положить, что тот равен 1, то емкость памяти сегодняшних нейронных сетей — всего лишь 0.14.
Итальянцы в качестве решения этой проблемы предложили алгоритм, который позволяет ИНС «спать». «Если вы не избавитесь от этих ошибок, со временем их станет чересчур много и система перестанет справляться с простыми заданиями», — объясняет Барра.
Наш мозг тоже постоянно копит информацию, и тоже становится складом огромного количества «мусора». Ненужные воспоминания стираются во время фазы быстрого сна. Именно когда мы видим сладкие сны, мозг проявляет наибольшую активность, освобождая нам место для новых впечатлений. Во время медленного сна складские помещения открываются, и в них происходит инвентаризация и оптимизация. Нужные воспоминания закрепляются, сортируются, систематизируются. В это время, вопреки распространённому мнению, мы видим сны и в медленной фазе – только эти сны более неуловимые, ускользающие, их мы помним очень редко.
Именно эти процессы стали отправной точкой для алгоритма. Барра с коллегами решили досконально изучить всю нейробиологическую часть этого феномена, смоделировать его математически, а потом применить получившийся алгоритм к существующей модели нейронной сети.
Мозг человека и животного снабжен встроенным механизмом, который решает, какие воспоминания достойны укрепления, какие – стирания. Но искусственной нейронной сети подобный выбор не под силу, его должны делать люди. «Искусственные нейроны сети – полные рабы наших преставлений о мире», — смеется Барра.
Результаты исследования были опубликованы в журнале Neural Networks (Нейронные сети) в апреле нынешнего года. Нейронные сети продолжают учиться и укладывать паттерны информации (воспоминания) во время стандартных онлайн-сессий (бодрствование). Но когда запасы памяти достигают своего предела, машину погружают в сон, то есть, режим офлайн. Эта фаза сна используется для того, чтобы стереть ненужную информацию и закрепить нужную. Благодаря этому, команда смогла увеличить объём памяти ИНС до максимальной теоретической величины.
У человека стирание и закрепление происходит в двух разных фазах сна, как мы уже говорили выше. Машина спит несколько иначе чем мы, и у нее эти процессы происходят одновременно.
На этом работа Барра и его команды закончена – он передает эстафету инженерам. «Физикам-теоретикам тут больше делать нечего».
Источник: ГенДир
Подписывайтесь на ГенДир, не пропускайте интересное из мира цифрового бизнеса https://vk.com/gen_direktora