Вопросы с тегом 'backpropagation'

Backpropagation - метод вычисления градиента, который часто используется в искусственных нейронных сетях для выполнения градиентного спуска.
3

Понимание прокрутки нейронной сети

Обновление: лучшая формулировка вопроса. Я пытаюсь понять алгоритм обратного распространения с нейронной сетью XOR в качестве примера. Для этого случая есть 2 входных нейрона + 1 смещение, 2 нейрона в скрытом слое + 1 смещение и 1 выходной нейрон. ...
03 февр. '10 в 8:59
1

Когда использовать слои на месте в Caffe?

Устанавливая нижнее и верхнее blob одинаковыми, мы можем сказать Caffe сделать "на месте" вычисление, чтобы сохранить потребление памяти. В настоящее время я знаю, что могу безопасно использовать на месте слои "BatchNorm", "Scale" и "ReLU" (пожалуй...
20 июл. '16 в 7:26
3

Разница в производительности между numpy и matlab

Я вычисляю алгоритм backpropagation для разреженного автокодера. Я реализовал его в python с помощью numpy и в matlab. Код почти такой же, но производительность сильно отличается. Время, которое занимает matlab для выполнения задачи, составляет 0.25...
29 авг. '13 в 16:43
5

Нейронная сетевая обратная прослойка с RELU

Я пытаюсь реализовать нейронную сеть с помощью RELU. слой ввода → 1 скрытый слой → relu → уровень вывода → слой softmax Выше - архитектура моей нейронной сети. Я смущен насчет обратного распространения этого релу. Для производной от RELU, если x &l...
13 сент. '15 в 3:28
1

Почему сигмоидные функции работают в нейронных сетях?

Я только что начал программировать для нейронных сетей. В настоящее время я работаю над пониманием того, как работает нейронная сеть Backpropogation (BP). Хотя алгоритм обучения в сетях BP довольно прост, мне не удалось найти текст о том, почему рабо...
26 июл. '12 в 20:28
3

Почему метод Cross Entropy предпочтительнее ошибки среднего квадрата? В каких случаях это не задерживается?

Хотя оба вышеуказанных метода обеспечивают лучший результат для лучшей близости прогноза, предпочтение отдается кросс-энтропии. Это во всех случаях или есть некоторые специфические сценарии, где мы предпочитаем кросс-энтропию над MSE?
09 апр. '16 в 9:50
2

В чем разница между back-распространением и обратной связью Neural Network?

В чем разница между back-распространению и нейронными сетями обратной связи? При поиске и чтении я обнаружил, что в направлении вперед есть только направление вперед, но при обратном распространении один раз нам нужно сделать прямое распространение,...
09 февр. '15 в 6:11
1

Как правильно обучить мою нейронную сеть

Я пытаюсь научить нейронную сеть решать, куда идти, исходя из введенного уровня жизни. Нейронная сеть всегда будет получать три входа [x, y, life]. Если life => 0.2, он должен вывести угол от [x, y] до (1, 1). Если life < 0.2, он должен вывест...
02 февр. '17 в 15:22
2

Многослойная нейронная сеть не будет прогнозировать отрицательные значения

Я реализовал многослойный персептрон для прогнозирования греха входных векторов. Векторы состоят из четырех -1,0,1, выбранных случайным образом, и смещения, установленного в 1. Сеть должна предсказать грех суммы содержимого векторов. Например, Input...
24 февр. '11 в 14:09
1

Как алгоритм обратного распространения имеет дело с недифференцируемыми функциями активации?

копаясь в теме нейронных сетей и как эффективно их тренировать, я наткнулся на метод использования очень простых функций активации, таких как речитативная линейная единица (ReLU), а не классические гладкие сигмоиды. Функция ReLU не дифференцируема в...
14 мая '15 в 11:59
1

Проблема, связанная с алгоритмом Backpropagation в нейронной сети

У меня возникли проблемы с пониманием алгоритма backpropagation. Я много читал и много искал, но я не понимаю, почему моя нейронная сеть не работает. Я хочу подтвердить, что я делаю каждую часть правильно. Вот моя нейронная сеть, когда она инициализ...
03 дек. '14 в 20:11
3

Нейронная сеть в Javascript не учится должным образом

Я попытался переписать нейронную сеть, найденную здесь в javascript. Мой код javascript выглядит так. function NeuralFactor(weight) { var self = this; this.weight = weight; this.delta = 0; } function Sigmoid(value) { return 1 / (1 ...
18 мар. '14 в 22:21
2

Как использовать кросс-проверку в k-fold в нейронной сети

Мы пишем небольшой ANN, который должен классифицировать 7000 продуктов на 7 классов на основе 10 входных переменных. Чтобы сделать это, мы должны использовать k-fold cross validation, но мы немного сбиты с толку. У нас есть этот отрывок из слайда п...
17 сент. '14 в 11:43
3

Как реализовать производную Softmax независимо от любой функции потери?

Для библиотеки нейронных сетей я реализовал некоторые функции активации и функции потерь и их производные. Они могут быть объединены произвольно, а производная на выходных слоях просто становится произведением производной потерь и производной активац...
05 нояб. '15 в 10:16
1

Отладка нейронной сети

TL;DR Я пытаюсь установить простую нейронную сеть в MNIST, и она работает для небольшой настройки отладки, но когда я переношу ее на подмножество MNIST, она работает быстрее, а градиент близок к 0 очень быстро, но затем он выводит одно и то же знач...
09 февр. '17 в 15:39