Эпизод III Склад неправильных ответов.
Раз есть "склад правильных ответов" должен быть и "склад неправильных ответов". Не надо вставать, дайте я скажу. Тут вон и motor прокололся - думал неправильные ответы помнить не надо. Неправильные ответы надо помнить чтобы их не повторять. Все? Все.
Займемся оперантным обуславливанием, про которое мельком говорили в прошлом эпизоде. Метод тут простой, называется "тыка". Тык-генератор у нас уже есть (ГСР). Понадобится еще какой-то блок оценки результатов реакций (БОР) с точки зрения потребностей организма и память, куда эти результаты будем сохранять. Рисуем:

картинка 5
Нда, сколько не рисуй все равно ничего не понятно. В общем так, когда у ПРА верной реакции нет, описание проблемы поднимается в "память результатов", где данная сенсорная ситуация опознается и вспоминаются все реакции, которые в такой ситуации производились и к чему это привело. В результате формируется набор альтернатив, из которых ГСР будет осуществлять выбор. Естесственно, реакции, ведущие к отрицательному результату в набор альтернатив уже не включаются, а включаются те, что еще не пробовались, либо приводящие к положительному результату, либо набор может состоять из единственной "оптимальной" реакции для данной ситуации, которую и "выбирает" ГСР. Последний случай - это в общем исключение. По идее, со временем ПРА должна обучиться такой однозначной связке ситуация->реакция и взять осуществление единственно-верного действия на себя, после чего "память результатов" может все это забыть. Еще тут в промежуточном варианте (когда уже найдены положительные, хотя возможно и не оптимальные реакции и в то же время не все варианты действий еще испробованы) присутствует такая "exploration vs exploitation problem", которую я решать не знаю как и отвлекаться на нее не хочу. Не хочу. Вот, понятно, что если ситуация незнакомая, то никаких предпочтений у "памяти результатов" нет и ГСР может выбирать любую реакцию.
Теперь выбранная реакция осуществляется. Тык! Блок оценки результатов, глядя на рецепторы потребностей, как-то интерпретирует изменение их значений и выдает сигнал подкрепления, который запоминается вместе с произведенной реакцией. И все по кругу - идет поиск оптимальной реакции.
Все, моск в общем и целом готов и способен к самообучению. Остались всякие "навороты", но сейчас еще несколько замечаний. Я вижу функционирование ПРА и "памяти результатов" как работу двух взаимодополняющих механизмов. Если первое "диагноз", то второе - "прогноз". Если первое обращено в прошлое (причины), то второе - в будущее (следствия). Если первое действует шаблонно(рефлекс), то второе - творчески(поиск). Если первое обладает навыками, то второе - знаниями (информацией полезной и используемой в жизнедеятельности, но не являющейся навыками) - теми самыми "неправильными ответами".
Новых этажей больше не будет т.к. задача поиска в принципе решена. Далее я немного расширю/переинтерпретирую функциональность существующих блоков и добавлю еще по мелочи. Вот, если кому-то интересен план, то в следующем эпизоде быстренько пробежимся по сознанию, потом коснемся эмоций, потом роли языка. Все идет в контексте оптимизации структуры на картинке 5. Если нельзя по времени, будем оптимизировать по энергии, потом еще чего-нибудь придумаем .

Лирическое отступение.
Итак, со времени предыдущего эпизода у "гениальной теории" появилось целых два поклонника, написавших автору в личку. Один посетовал на то, что модератор (вот негодяй!) закрыл такую хорошую тему (это он про меня так). Другой сказал, что все эту "теорию" автору надо срочно спрятать и перепрятать, т.к. некоторые товарищи (неужели есть такие?) могут ее, мягко говоря, умыкнуть и изуродовать до степени (страшно и думать) докторской диссертации.
Не смотря на все это, а также на то, что автор уже порядочно плавает (вы поглядите-ка что он наляпал в предыдущем эпизоде про логичность сознания!) публикация "гениальной теории" будет продолжена. С течением времени. Как только у автора будет время. Т.е. скоро, т.к., между нами говоря, автор не сидит сложа ручки, а работает, и работа эта идет к концу. Все это время автор занимался не чем-там-нибудь, а "создавал искусственный интеллект". И один таки почти создал! Вот. Как говорится: "лет ми интродьюс ту ю": искусственный модератор форума аикома, доблестный круглосуточный борец со спамовыми темами на форуме DFS! (близко подходить все же не советую - может покусать). DFS, зачем ты удалил учетную запись Механика? Молчишь, подлец ты эдакий? Едва удалось потом за тобой все восстановить.. А кто разжигал на форуме межнациональную рознь, выборочно удаляя только англоязычный спам? А? Ну ладно-ладно, прощаю. Можешь съесть пару топиков в "Продуктивной симптоматике".
Вот с каким материалом приходится работать, господа. Искусственный интеллект с рождения брыкается как настоящий и не хочет учиться. Кстати, хотя DFS всего лишь узкоспециализированная программа, а не полноценный ИИ, в его эволюции можно проследить некоторые этапы соответствующие эпизодам "гениальной теории". Здесь все начинается с врожденных рефлексов. После того как всякая сетевая обвязка была создана и можно было приступать к высчей логике агента, автор не нашел ничего лучшего как забить в голову подопытного жесткое правило: "Если название и содержимое первого сообщения топика набраны латиницей - удаляй". Потом была реализована возможность обучения с учителем. Учителем в частности может быть настоящий, не искусственный модератор. Сделано это следующим образом: на форуме есть скрытый раздел "АД", куда попадают все "удаленные" DFS'ом спам-топики. Если DFS не посчитает за спам и не переместит некоторый спам-топик в "ад", то за него это может сделать естественный модератор. Тогда DFS, увидев, что в "аду" есть топик, который он не удалял, понимает, что прокололся и что надо запомнить этот топик на будущее как спамовый. Он запоминает его название и хэш-сумму содержимого (такая стратегия оправдана, т.к. спамеры довольно однообразны). Т.е. у него образуется парочка новых рефлексов удаления - один как реакция на знакомое название топика, другой - на содержание. Естественный модератор, перемещая спамовые по его мнению топики, пропущенные агентом в "ад", учит агента их распознавать и удалять. Понятно, что это самое примитивное обучение - запоминание без всякого обощения. Это плохо, т.к. на новый спам кроме англоязычного реакции - ноль.
Идем простым логическим ходом - прилепляем к агенту байесовскую фильтрацию. К Байесу еще вернемся, а пока надо сказать, что автор безбожно передрал алгоритм фильтра из онлайн журнала т.к. практика в этом вопросе очень далеко отстоит от теории и нефиг изобретать велосипед. Вот. Байес-фильтр хранит слова, каждому из которых сопоставлены два значения: spam и ham - число спамовых и нормальных сообщений в которых такое слово встречается. Потом на основании этого, а также общего количества усвоенных спамовых и неспамовых топиков выводится оценка "спамности" топика. Для статистики "нормальных" тем было перелопачено 584 проверенных (т.е. содержащих более 20 ответов) топиков из разных разделов форума. Статистика спама собирается по ходу. Это работает.
Возвращаемся к обучению с учителем. Теперь если агент видит в "аду" незнакомый топик, он не только запоминает название и хэш-сумму, но отправляет содержимое на съедение байес-фильтру в качестве спама. После этого подобные данному топики тоже опознаются байес-фильтром как спам т.е. имеет место обобщение. Наблюдаем своего рода иерархию обучения: модератор удаляет топик, обучая байес-фильтр агента удалению некого класса подобных топиков, а подсистему запоминания названия+хэш-суммы - удалению точно такого же топика если он появится опять (так бывает). В свою очередь байес-фильтр, уже без участия модератора, опознавая и удаляя подобный, но не идентичный исходному спам-топик заставляет подсистему запоминания названия+хэш-суммы запонить и его название и хэш, чтобы свалить на нее часть своей работы. В общем ясно - всем работать лень. Если предположить, что подсистема запоминания названия+хэш-суммы работает быстрее байес-фильтра, а тот в свою очередь быстрее модератора (автор не проверял), то имеем явную экономию времени реакции. В нашем случае она не очень критична, зато все очень биологично.
Не смотря на явные различия алгоритмов и иерархию между байес-фильтром и подсистемой запоминания названия+хэш-суммы, все они соответствуют/входят в ПРА наших схем. Распознавание -> действие - вот их девиз, хотя распознавание в одном случае очень простое, а в другом - посложнее. Наблюдая слова-симптомы, байес-фильтр ставит диагноз.
Байес со своей формулой вообще хорошая метафора рассмотренных выше ПРА и "памяти результатов" (автор за давностью не уверен что чего метафора, иными словами, выводил ли он изначально ПРА и ПР из Байеса или наоборот). Формула Байеса выражает отношение между двумя условными вероятностями p(A|B) и p(B|A):

p(A|B) = p(B|A)*p(A)/p(B)

Полагая A и B некими равноправными событиями, мы от нее ничего интересного не добьмся. Что p(A|B), что p(B|A) - все это вероятности одного события при наступлении другого и ничем по сути не отличаются. А вот если мы положим, что событие A является причиной, а B - следствием, то p(B|A) сразу станет прямой, а p(A|B) - обратной вероятностью. Иными словами, p(B|A) - это ПР, прогноз, а p(A|B) - это ПРА, диагноз. Так что к списку взаимодополняющих механизмов в конце третьего эпизода можно добавить еще одну интерепретацию - прямая и обратная байесовские вероятности. Почему в сообщении есть слово "porno"(следствие)? Потому, что это сообщение - спам(причина). Вот байес-фильтр из известной вероятности вхождения слова в спам - p(B|A) и вычисляет вероятность спамности сообщения с таким словом - p(A|B) по формуле. Почему сразу не учитывать статистику p(A|B) вместо p(B|A) и работать без всяких формул? Потому, что учитывать второе чисто технически бывает удобнее. В нашем случае слов много (уже ~20000) и общее количество опытов "размазывается" по ним гораздо сильнее чем по ~700 учитываемым в работе топикам. По каждому слову статистика меньше, чем если учитывать по каждому топику, но это уже детали, хотя формула Байеса именно и позволяет переходить от прогноза к диагнозу и наоборот, устраняя подобные неудобства. Может все мышление на ней и держится...
Теперь все спросят автора где у DFS'а ГСР - то, что нужно для поиска, т.е. самого главного, по мнению автора, в интеллекте? А вы уверены, что это ему нужно? Автор может приделать и ГСР если кто-то возьмет на себя роль БОР. DFS будет удалять топики случайно, а БОР возвращать назад невиновных (ручной возврат DFS учитывает). Будет обучение. Или все-таки оставить его дефективным?
========================================================================
Возвращаемся в IV эпизод 
Следует признать, что "гениальная теория" у автора в последнее время порядком буксует. Ему оставалось пририсовать к "схеме разума" всего один прямоугольничек, но это так коверкает шедевральную картинку №5 и тянет за собой такой шлейф вопросов, что автор, сделав несколько заходов с разных сторон в попытках написать объяснительную для читателя зачем этот новый квадратик нужен, совсем выбился из сил.
Суть проблемы в том, что если мы собираемся дать агенту способность прогнозировать/планировать свои действия на несколько ходов вперед, то нам понадобится дополнительная память. Давайте возьмем в качестве примера злосчастные шахматы. Пусть у нас эндшпиль и по всему уже видно, что создались условия чтобы загнать короля противника в угловую лузу. Однако из этой смелой догадки нам нужно сделать вполне конкретный план и мы морщим лоб, прикидывая варианты. Вопрос: где? Где мы проигрываем наши будущие ходы и оцениваем созданные ими позиции? Ответ ясен - в воображении, т.е. виртуальном пространстве нашего ума, где есть своя виртуальная шахматная доска и где можно двигать пешки, не прибегая ни к каким манипуляциям в реале.
Такой памятью нам придется снабдить и агента. Заметим, что эта память должна быть пространственно организована в соответствии с пространственой организацией рецептора. Т.е. если вы собираетесь воображать картинки, то нужно 2 измерения и т.д.
Теперь прикинем куда нам поместить прямоугольник с этой памятью на схеме. Во-первых, само соответствие пространственных характеристик такой памяти характеристикам рецепторов наталкивает на мысль, что это может быть кратковременная, буферная память рецепторов. Во-вторых, за то чтобы поместить ее между рецепторами и всем остальным "разумом" говорит и следующее соображение: блок оценки результатов (БОР) должен иметь возможность оценивать не только реальные, но и воображаемые ситуации с точки зрения их желательности/нежелательности для агента. Что, однако, делать с ПРА? С одной стороны, процесс воображения редко сопровождается рефлекторными реакциями приличествующими реальному случаю. С другой стороны, такое все же бывает. Выпуклое воображение лимона может привести к слюноотделению и т.п. Т.е. и ПРА должна быть связана с рецепторами посредством этой рабочей памяти. При этом (и это один вопрос на который предстоит ответить) ненужная активность ПРА все же должна как-то тормозиться если рассматривается виртуальная, а не реальная ситуация.
Наконец, и это пожалуй самый некрасивый момент на схеме, ГСР+ПР должны иметь возможность создавать в виртуальном пространстве всякие виртуальные ситуации, что заставляет автора нарисовать на схеме стрелочку, которая ему совсем не нравится 
Рисуем вкривь и вкось, надеясь разобрать все впоследствии:

картинка 7
С добавлением виртуального пространства в работе других блоков практически ничего не изменилось. Но если раньше они работали непосредственно с рецепторами, то теперь - с рабочей памятью, в которой реальная ситуация может быть заменена воображаемой. Стрелка идущая от выхода "памяти результатов" (ПР) к рабочей памяти и создает "думательную закольцовку" упомянутую в конце IV эпизода. Получился не круг с картинки 6, а эдакая восьмерка: "рабочая память" -> ПРА -> ПР -> ГСР -> ПР -> "рабочая память".
Т.е. агент воспринимает и оценивает воображаемую (а в самом начале процесса возможно и вполне реальную) проблемную ситуацию и, руководствуясь знаниями (ПР), производит в ней некоторое изменение (виртуальное действие), после чего все повторяется. Этот процесс (поиск) может идти до тех пор пока не будет найдена последовательность действий приводящая к решению проблемы (т.е. к положительно оцениваемой ситуации).
Фактически мы добавили память состояния для процесса поиска - то место, где можно хранить промежуточный результат. Ту память, в которой не нуждается по мнению автора шаблонное ПРА (из схемы видно, что она не может туда ничего записать), но нуждается ищущее и моделирующее сознание.
То, что попадает в эту память всегда находится в фокусе внимания "разума". А вот по какому принципу происходит отбор в эту память и как "думание" тормозит рефлекторную активность автор надеется раскрыть в следующем эпизоде.