Ноябрь 20th, 2014
Известно, что значительное количество связей, которые настраиваются, и присутствие шумов во входных образах не позволяют получить необходимую точность и сеть довольно часто попадает в состояние насыщения, происходит так называемый ее «паралич». Кроме того, современные вычислительные ресурсы не являются такими уж и большими, если речь идет о тысячах обучающих образах, каждый из которых содержит более ста элементов. Возникает обоснованное подозрение, что результат за приемлемое время не будет получено.
Предложим модель многоэтапной самоорганизации (109) вышеописанной сети (рис. 6.11). На первом этапе сокращаем количество входных факторов, и изымаем некоторые связи между нейронами первого и второго слоя. Этот процесс соответствует такой процедуре:
Шаг 1. Инициализируем весовые коэффициенты равномерно распределенным в (0,1) значениями.
Шаг 2. Подать в пакетном режиме все образы и рассчитать значение функции энергии как сумму квадратов отклонений полученных и заданных значений результирующей характеристики.
Шаг 3. По алгоритму обратного распространения ошибки (61) корректируем значения весовых коэффициентов и снова подаем в пакетном режиме все обучающие образы.
Шаг 4. Повторить шаги 2 и 3 несколько раз. Если функция энергии за это время значительно уменьшилось, то суммарная незначительная вариация весовых коэффициентов, соответствующих одному входному фактору, указывает на его слабое влияние на выходную характеристику и его можно исключить. Близость к нулю значений весовых коэффициентов при использовании в качестве функции активации классического сигмоида свидетельствует о незначительности связи между нейронами и ее можно удалить.
Шаг 5. При необходимости шаги 1-4 повторяют. Если у вас есть закаленное стекло, то фурнитуры для закаленного стекла вы найдете здесь.
Таким образом, на первом шаге самоорганизации НС количество входных факторов сокращается и уменьшается количество весовых коэффициентов, что приближает НС до ядерной структуре.
Второй этап заключается в оптимальном подборе активационной функции. Ограничимся рассмотрением двух наиболее распространенных функций — сигмоида и гиперболического тангенса. Нужно отметить, что как первая, так и вторая функции могут быть параметрическими зависимостями.
Однозначной процедуры выбора не существует, но можно использовать такой подход. При одинаковых равных условиях (например, не используя в Pascal функции randomize), необходимо моделировать функционирование сети в пакетном режиме ограниченное время и анализировать результаты: точность, скорость, динамичность. Итогом второго этапа самоорганизации НС станет выбор приемлемо оптимального варианта активационной функции.
