aReadmeXytBmp43
KinoBmp Окончание
aReadmeXYTbmp для HabibTG 1.0.3 xyt
Дополнительная инструкция 2. BMP-Эпизоды (KinoBmp)
4.3 Построение простейшей модели внешнего мира.
«Внутренние» и «граничные» точки, однородные области и граничные (контурные) линии
Используемые здесь понятия «внутренней» и «граничной» точки имеют и математические определения. Смотри, например, «топология», «метрические пространства» и т.д.
Эти термины использованы в работе [11]. Там же приведён чертёж.
Построение модели внешнего мира предполагает, что мы не должны ограничиваться простым выявлением разных инвариантов, позволяющих нам отличать друг от друга разные образы. Мы должны отдавать себе отчёт в том, что объекты внешнего мира, стоящие за этими образами, обладают определённым самостоятельным поведением. Например, стоять на месте или двигаться. Может изменяться их освещённость и т.д. Модель объекта позволяет «разбивать» его на более простые элементы, «сокращённо» описывать обширную информацию, порождаемую объектом на сетчатке. Это позволяет отсылать её в мозг для использования в дальнейших ассоциациях.
В то же время модель позволяет хотя бы приблизительно воспроизводить прежнее изображение объекта и лучше прогнозировать, как будут вести себя в будущем выявленные ранее элементы объекта. Это позволяет, например, не распознавать весь объект заново в новом кадре (или в следующий момент времени), а работать в режиме уточнения слегка изменившихся координат элементов. Это резко сокращает время «распознавания нового кадра», используя те самые центробежные потоки информации.
В работе [11] такая теоретическая возможность упоминалась при рассмотрении бинокулярного зрения. В нашей программе некоторая экономия достигается за счёт ограничения сегментов, в котором распознаются объекты, предварительно распознанные в предыдущих кадрах.
Распознавание форм движения тем более требует использования информации, связанной с предыдущими моментами времени, в том числе уже переработанной и учтённой в обрабатывающих центрах.
Модель объекта, полученная из его образа, открывает путь к образному и пространственному мышлению.
В клоне K2SLOVA\FMMRAMU (буквы, слова и фразы в одном задании) и других клонах, связанных с квазибегущей строкой, x-координаты в ячейках уже распознанных элементов образов пересчитывались синхронно с «продёргиванием» ленты. Это позволило успешно использовать начальную часть слова, уже покинувшую экран, для продолжения распознавания всего слова.
4.3.1 «… Контур фигуры типа чёрного диска фактически воспроизводится в нервной системе в виде двух элементов – границы и внутренней части ...»
О том, что как механизмы определения, так и «формы хранения» контуров предметов и их граней (однородных областей) - разные, говорит автор следующей работы (см. [15] «Распознавание образов …», стр.57).
Начало цитирования:
П. Колерс. Статья
«Некоторые психологические аспекты распознавания образов»,
Глава 1, раздел «последовательные перцептивные явления», стр. 57.
«…В нашей статье высказано мнение, что при определённых условиях граница, или контур, фигуры типа чёрного диска фактически воспроизводится в нервной системе в виде двух элементов – границы и внутренней части. Мы полагаем, что изменчивость восприятия, связанная со временем, обусловлена селективным воздействием на эти два элемента…».
Конец цитирования.
В данной версии в нашей программе однородные области используются в привязке к контурным линиям и изолированным точкам. Точнее, однородная область входит в состав события a[i].
Цвет пятна не учитывается. При распознавании большинства обычных образов это создаёт дополнительные сложности. Например, нельзя распознавать картинки для диагностики дальтонизма. Но остаются шансы распознавать некоторым образом замаскированные объекты. Хотелось бы конечно, иметь все варианты.
Ещё одно упрощение связано с тем, что размеры однородных областей установлены минимальными и не зависят от размеров изображения объекта на экране. Это ускоряет работу программы, но при смене масштаба без дополнительного обучения могут возникнуть вопросы. Режимы периферического зрения могут улучшить результаты, так как они уменьшают размеры изображения.
В жизни часто возникают и обратные ситуации. Например, наше периферическое зрение замечает набор однородных пятен в поле нашего зрения и строит временную предварительную модель сцены из таких пятен. После этого мы можем направить взор, на одно из этих пятен, выявить его контуры по принципу, скажем, «зелёный – не зелёный» и выяснить, например, что это лист клёна. По принципу «рыжий – не рыжий» мы сможем, например, вычислить контуры лисы и т.д.
В нашей программе «зафиксированную» однородную область можно «увидеть» следующим образом.
Запустите клон K1Figura с параметрами:
SledView = True
SledConus3 = True
SledClear=True
В качестве входного рисунка в соответствии с инструкцией укажите единственный рисунок «знак равенства» (код 43). Для этого в файле "NomerRis.txt" в начало списка вставьте 2 строки:
43
0
После выполнения программы увидите два пятна по бокам верхнего горизонтального отрезка. Эти пятна запоминаются в соответствующих событиях.
4.3.2 «Признаки движения» в «одном кадре сетчатки» -
- то, чего нет в кино-кадрах и наших bmp-кадрах
Рассмотрим такой пример.
Допустим, мы смотрим на чёрный прямоугольник, движущийся на белом фоне слева направо. Тогда правая вертикальная сторона прямоугольника «наезжает» на соседние белые точки. Соответствующие «off»-рецепторы на сетчатке перестают получать свет и возбуждаются.
Левая вертикальная сторона прямоугольника, наоборот, «отъезжает» и «открывает» белые точки. Соответствующие «on»-рецепторы на сетчатке начинают получать свет и то же возбуждаются.
Если теперь наш зрительный аппарат, анализируя состояние сетчатки в этот момент, распознает эти два вертикальных отрезка, а между ними – однородную область пространства из «внутренних» точек (в данном случае - чёрных), то он может сделать предположение, что это некий предмет с краями в виде вертикальных отрезков, который движется именно слева направо.
А в нашей модели (и программе на данный момент) для «вычисления» сработавших «on» и «off»-рецепторов нужно всё-таки иметь не один, а два кадра (градиент «g» вычисляется по оси «t»).
Правда, и в зрительном аппарате человека эти фоторецепторы также «захватывают» в конечном счёте не одно, а два «мгновения» (до и после изменения падающего света). Поэтому фоторецепторы, являющиеся «датчиками движения», одновременно являются обрабатывающими центрами, разместившимися прямо в сетчатке. Они имеют короткую «дугу» и большую скорость реагирования. Известно, например, что лягушка может ловить насекомых налету.
4.4 Что в программе Habibtg напоминает о «последовательной (временной) и пространственной индукции»
Временная индукция очень похожа на пространственную, если процесс рассматривать в пространстве xyt. С точки зрения формальной математики «соседние» точки, подвергаемые торможению, могут быть как из «прошлого», так и из «будущего».
4.4.1 О последовательной (временной) индукции
(последующий сигнал влияет на реакцию на предыдущий сигнал)
В нашей программе похожий эффект наступает по следующим причинам. Образы ищутся в многомерном пространстве, включающем время «t». Но это означает, что реакция наступает на стадии, когда уже совместно обработаны сигналы, поступающие в моменты времени t1, t2, … , tn. В нашей модели ответ выдаёт событие a[i], которое в качестве входных переменных включает не только координаты в момент времени t1, но и в момент t2, t3 и т.д. При этом событие a[i1], которое раньше было «тупиковым» и выдавала ответный сигнал, становится «промежуточным» и передаёт «управление» дальше.
Возможны ситуации, когда событие a[i1] непродолжительное время остаётся тупиковым, но потом «подавляется» наступившим «составным» событием.
Вспомните, как, задавая Regim=5, мы заставляли «Ы» «подавлять» в ответе «Ь» и «|» (хотя это больше относится к пространственной индукции). Буква «Ы» может быть распознана при этом самой последней.
При распознавании слов в квази-бегущей строке распознанные буквы в ответе подавляются распознанным словом.
Кроме того, модель и программа вполне допускают, что при обработке текущего кадра идёт обращение к точкам «предыдущего кадра», если это возможно. Так «задним числом» проверяется гипотеза (событие a[i]), возникшая при обработке текущего кадра.
В программе вообще используются повторные просмотры (с целью экономии на объёме эпизодов и упрощении алгоритма при моделировании периферического зрения).
4.4.2 О пространственной индукции
Так называемая пространственная индукция в нашей программе проявляется следующим образом.
Рассмотрим случай, когда порядок сканирования нарушается из-за наличия второго контурного отрезка вблизи первого.
При последовательной обработке очевидно, что процесс может сильно зависеть от того, какой отрезок попал на «обработку» первым, какой – вторым и т.д. Программа даже может перескакивать от одного объекта к другому, не закончив обработку первого. Чтобы повысить надёжность распознавания, нашей программе даже приходится «бороться» с этим явлением - просматривать каждый сегмент изображения с «разных сторон», задавая параметр Nosmotra=1,2,3,4,5.
Но можно себе наглядно представить вариант пространственной индукции и при частично параллельных процессах.
Если бросить камень в воду, пойдут концентрические круги по воде. Если бросить в воду 2 камня одновременно, и недалеко друг от друга, то картина изменится. Работа клеток сетчатки с горизонтальными связями может претерпеть аналогичные изменения. Возможно, так и формируются так называемые «однородные пятна», о которых мы скажем несколько слов ниже.
Мы как будто выяснили, как эффективно наш зрительный аппарат «вычисляет» граничные точки и линии.
Если при конкретных для данного момента параметрах наш зрительный аппарат в одной области выявил граничные точки и линии, а в соседней области – нет, то эта соседняя область по определению называется однородной.
Поэтому естественно предположить, что приблизительное определение её цвета, размера, формы и местоположения – как на сетчатке в целом, так и относительно «граничных» элементов – это вторая задача, которую надо решить.
Возможно, эта задача во многом также решается сетчаткой самостоятельно, без частого обращения к «дальнему» мозгу, например, с помощью клеток с горизонтальными связями.
Также естественно предположить, что решаться должна и задача увязывания элементов обоих видов за текущий момент времени с элементами за прошлые моменты времени, а также формирование ожидания появления элементов в новых местах в будущие моменты времени.
Работу с более «длинными» связями может взять на себя «дальний» мозг.
4.5 О повторных обращениях к точкам.
Сравнение с шахматами - одну и ту же позицию мы рассматриваем вновь и вновь с разных «сторон» и разных «точек зрения»
Мы считаем, что такое сравнение может быть полезным, так как нет резкой границы между «чистым» восприятием и восприятием с «примесью» мышления. Вспомним также наши рассуждения о сходстве информационных процессов на «макро» и «микро» уровне.
Возможно, точно также требуется постоянное «уточнение» местонахождения однородных областей для каждого конкретного «текущего» рассматриваемого образа – кандидата на подтверждение. Однородные области, выявленные заранее, «впрок», не могут сразу решить все возникающие задачи.
Приведём несколько утрированный пример. Если мы заранее выявили однородную область – пустую верхнюю половину страницы, это никак не избавит нас от необходимости попытаться дополнительно выявить однородную область внутри предполагаемой буквы, чтобы отличить, например, «с» от «е», от «о» и т.д.
На самом деле с необходимостью повторного обращения к одним и тем же точкам автор столкнулся гораздо раньше – в первой же версии программы распознавания. Тогда казалось, что можно сначала выявить все изолированные точки и элементарные отрезки, а потом комбинировать их в разных сочетаниях и построить все возможные образы. Тогда казалось, что это избавит нас от ненужных повторов и избыточных операций. Однако годы экспериментирования убедили, что возникающие при этом комбинаторные задачи трудно разрешимы и вряд ли наш мозг приспособлен для их решения. Когда же «запрет» на повторное обращение к точкам был снят, скорость работы программы резко возросла, и автору показалось, что он «сел на хвост эволюции».
В то же время свойства ассоциативности, избыточности и избирательности восприятия, объявленные в наших постулатах, сохранялись.
При этом более наглядно решилась проблема «полисемии» (см. [11]).
Правда, чтобы не потерять в скорости, пришлось ввести ещё одну матрицу с заранее вычисленными «изолированными» точками. Как теперь выясняется, природа нашла аналогичное решение.
Автор решил написать об этом случае, так как негативный результат – это тоже результат. Ищет не только природа, ищут и разработчики. И если постулаты, положенные в основу математической модели, соответствуют той реальности, в которой ищет природа, положительные (или отрицательные) результаты могут оказаться одинаковыми. Кроме того, через эту ситуацию могли пройти и другие разработчики. Они также могут поделиться своим «эволюционным» опытом, чтобы другим разработчикам не пришлось опять тратить годы на решение этого вопроса.
А вообще-то программистам давно известно, что многократное использование дополнительной памяти часто упрощает алгоритм и сокращает время работы программы. Просто не стоит пытаться сделать это раз и навсегда на все случаи «жизни», так как это может привести к огромным многомерным массивам.
Сравним работу зрительного аппарата и нашей программы с развитием «большой», «макро» - науки, такой как физика, химия и т.д.
Все мы знаем общую схему процесса познания. Выдвигается некая гипотеза, опирающаяся на некоторое количество фактов и наблюдений, которая претендует на то, чтобы стать теорией. Она должна быть внутренне непротиворечивой и соответствовать фактам. Поэтому эта гипотеза должна предсказывать новые качественные или количественные результаты экспериментов, которые, естественно, связаны с повторным обращением к внешнему миру. В случае негативного результата выдвигается новая гипотеза. Так добываются наши знания о внешнем мире. Было бы удивительно, если бы мы могли раз и навсегда зафиксировать все факты, а дальше наука развивалась бы сама по себе, не обращаясь к внешнему миру.
Для нашего зрительного аппарата и нашей программы состояние сетчатки является отражением внешнего мира. Поэтому и добывание знаний о нём может быть вполне аналогичным описанному выше процессу. Выдвижение гипотез может чередоваться с проверкой фактов.
К сказанному можно добавить, что если наша программа хотя бы даже косвенно моделирует работу многочисленных рецептивных полей, то последовательно работающий процессор просто не может обойтись без повторных обращений к «сетчатке».
5. Сравнение фоторецепторов сетчатки с фотоэлементами солнечных батарей электростанций, цифровых фотоаппаратов и видеокамер
Многие типы фоторецепторов нельзя трактовать как простой элемент солнечной батареи. Элемент солнечной батареи никак не «страдает» от «стабилизации» падающего на неё света. Кроме того, где вы видели солнечные батареи, которые дают всплеск напряжения, когда на них перестаёт падать солнечный свет? Мы уже не говорим о механизмах торможения соседних элементов.
Следовательно, фоторецептор сетчатки выступает как целое электронное устройство с довольно сложной логикой. Это, видимо, позволяет ряд задач решать «на месте», не отсылая информацию вглубь мозга, и не тратить на это драгоценное время.
Если бы информация попадала в мозг только в «первозданном» виде, как степень освещённости разных точек, то мозгу ничего не оставалось бы делать, как вычислять граничные точки, например, сравнивая каждую точку с её соседями, а их примерно от 6 до 10 штук. Именно так работает наша программа.
То же самое пришлось бы делать для выявления более или менее крупных однородных областей (пятен) из «внутренних» точек.
При этом результаты (полученные контурные лини и пятна) сильно меняются в зависимости от «входных» параметров, настройки диапазонов «цветоделения» и т.д.
Поэтому разработчики не должны расстраиваться, если на эти цели программа расходует много времени центрального процессора. Это естественно. А в будущем, после детального изучения, возможно, удастся распараллелить часть этих процессов. Начиная с подключения дополнительного процессора и кончая новой конструкцией светочувствительных матриц, интегрированных с соответствующими микросхемами. Вспомним появление видеокарт в персональных компьютерах и программы настройки в цифровых фотоаппаратах.
Будут ли при этом использоваться камеры с механическим дрожанием («дрейфом» и «тремором»), нам остаётся только гадать.
Разработчики программ для цифровых фотоаппаратов, думается, имеют наибольший опыт работы в своём «сегменте» проблем, не затрагивающих, например, настройку «по смыслу», которая требует хотя бы предварительного распознавания образов. Их опыт заслуживает особого внимания. Но там всё-таки можно положиться на фотографа и настраиваться, например, по центральной области кадра.
А вот у автономных видеокамер с мощными вычислительными ресурсами гораздо больше резона использовать предварительное распознавание образов уже на этапе настройки. И настройки придётся делать многократно и избирательно для каждого предварительно распознанного образа. А само предварительное распознавание также включает в себя этапы пробных настроек.
Литература. Ссылки. Другие материалы по теме
(находятся также и в отдельном файле aReadmeLiteratura)
Ниже приводятся некоторые работы, касающиеся восприятия и мышления.
Автор работ 1-7 и 11 Хабибуллин Тавис Габдулхаевич.
1. О методе марковских цепей в музыке
2. Исследование форм музыкальных мелодий с помощью ЭВМ / компьютера (К ПРОБЛЕМЕ УЗНАВАНИЯ, ЧАСТЬ 1)
Конфигурация модели восприятия "ht". Здесь h-высота звука, t-время (в первоисточнике используется обозначение «xt»).
3. "Машинная музыка" (мелодии)
HabibTGMuz - программа, которая демонстрирует (проигрывает) 4 мелодии, сочинённые электронно-вычислительной машиной (компьютером) БЭСМ-4 в 1972 году.
4. Построение перспективных изображений с учётом динамики зрительного восприятия
Конфигурация модели восприятия "xyz"
5. Программа HabibtgKlaster.
Эволюционное кластерное программирование, или «Что имел в виду уволившийся программист?»
Конфигурация объекта восприятия "yh".
Здесь по оси «y» отсчитываются строки программного текста, по оси «h» - уровни, на которых располагаются фрагменты программного текста.
6. HabibTG 1.0.2 xyt - обучающаяся программа распознавания зрительных образов, включая формы движения
Конфигурации модели восприятия "xy" и "xyt".
7. Программа HabibtgKompozitor (ХабибТГ Композитор)
http://tavis4.narod.ru
В первой половине семидесятых годов была опубликована следующая работа:
8.
УДК 515
Вадим Николаевич Семёнов, Тавис Габдулхаевич Хабибуллин
«Построение перспективных изображений с учётом динамики зрительного восприятия пространственных инвариантов архитектурных композиций»
Если правильно помню, саратовский политехнический институт, межвузовский научный сборник под редакцией Соломина.
9. Рудольф Хафизович Зарипов
«Кибернетика и музыка»
Издательство «Наука», Москва 1971 год.
10. Восприятие. Механизмы и модели
Издательство «МИР», Москва 1974
11. Хабибуллин Тавис Габдулхаевич
«К проблеме узнавания», Часть 2
«Константность музыкального и зрительного восприятия»
Москва 1973
http://tavis4.narod.ru
12. Хабибуллин Тавис Габдулхаевич
HabibTG 1.0.3xyt - обучающаяся программа распознавания зрительных образов, включая формы движения
http://tavis4.narod.ru
13. Хабибуллин Тавис Габдулхаевич
HabibtgVideoBmp – программа подготовки bmp-эпизодов для обучающейся программы распознавания зрительных образов HabibTG 1.0.3xyt.
http://tavis4.narod.ru
14. Бабский Евгений Васильевич, Зубков Анатолий Анатолиевич, Косицкий Григорий Иванович, Ходоров Борис Израилевич
Физиология человека
Издательство «Медицина», Москва . 1966
15. Распознавание образов
Исследование живых и автоматических распознающих систем
Издательство «Мир», Москва . 1970
16. М.В. Фёдоров
Рисунок и перспектива
Государственное издательство «Искусство», Москва, 1960 г.
17. Анри Пуанкаре
Математическое творчество
18. Жак Адамар
Исследование психологии процесса изобретения в области математики
http://tavis4.narod.ru
| 
