Вопросы с тегом 'optimization'

Оптимизация - это совершенствование метода или дизайна. В программировании оптимизация обычно принимает форму увеличения скорости алгоритма или сокращения требуемых ресурсов. Другим значением оптимизации являются численные алгоритмы оптимизации, используемые в машинных процессах.
3
ответов

вызов uniq и сортировка в разных порядках в оболочке

Есть ли разница в порядке uniq и сортировка при вызове их в оболочке script? Im говорит здесь о времени и пространстве. grep 'somePattern' | uniq | sort против. grep 'somePattern' | sort | uniq быстрый тест в текстовом файле 140 k строк показа...
задан 10 сент. '09 в 0:34
1
ответ

Spark: sc.WholeTextFiles занимает много времени, чтобы выполнить

У меня есть кластер, и я выполняю wholeTextFiles, который должен вытащить около миллиона текстовых файлов, которые суммируются примерно до 10GB У меня есть один NameNode и два DataNode с 30GB оперативной памяти каждый, по 4 ядра каждый. Данные храня...
задан 16 янв. '15 в 20:37
1
ответ

Как быстро найти строку в базе данных sqlite, которая ближе всего к данному входу?

У меня есть функция, которая обращается к моей базе данных Sqlite, которая имеет порядка 100 000 строк в 100 таблицах. (Размер файла базы данных составляет около 2-3 гб) Я пытаюсь дать моей функции временную точку, и я хочу, чтобы она вернула строку...
задан 06 июня '18 в 20:20
1
ответ

curve_fit 2D-функция, содержащая массивы numpy → фигуры (3,3,9) и (3,1) не выровнены: 9 (dim 2)! = 3 (dim 0)

Это мой первый вопрос. Надеюсь, я предоставил вам достаточную информацию. Я столкнулся с проблемами при использовании функции curve_fit с функцией, использующей массивы numpy. Использование функции с фиксированными параметрами работает нормально. ...
задан 07 июня '18 в 10:18
2
ответов

Как я могу сравнить множество векторов друг с другом в CUDA (эффективно)

вступление Я пытаюсь написать программу, которая сравнивает векторы друг с другом. Мне нужно, чтобы он сравнивал каждый вектор с любым другим вектором и возвращал вектор c, где c [i] = a [i]/b [i]. Поэтому мне нужен вектор C для каждой пары векторо...
задан 07 июня '18 в 11:46
2
ответов

Квадратичное программирование на Python с использованием Numpy?

Я в процессе перевода некоторого кода MATLAB в Python. Есть одна строка, которая дает мне немного проблем: [q,f_dummy,exitflag, output] = quadprog(H,f,-A,zeros(p*N,1),E,qm,[],[],q0,options); Я просмотрел документацию в MATLAB, чтобы узнать, что фу...
задан 03 июля '18 в 21:59
1
ответ

Используйте различные оптимизаторы в зависимости от оператора if в TENSORFLOW

В настоящее время я пытаюсь реализовать нейронную сеть с двумя этапами обучения. Сначала я хочу уменьшить функцию loss_first_part, а затем я хочу уменьшить loss_second_part. tf.global_variable_initializer().run() for epoch in range(nb_epochs) i...
задан 11 июля '18 в 14:18
1
ответ

Влияние выбора домена функции работоспособности в многоцелевой эволюционной оптимизации

Я использую эволюционные алгоритмы, например, алгоритм NSGA-II для решения проблем без ограничений с несколькими задачами. Поскольку мои функции пригодности иногда имеют очень разные области (например, f1 (x) генерирует значения пригодности внутри ...
задан 13 июля '18 в 16:09
1
ответ

Эффективная двумерная взаимная корреляция в Python?

У меня есть два массива размера (n, m, m) (n число изображений размера (m,m)). Я хочу выполнить взаимную корреляцию между каждым соответствующим n из двух массивов. Пример: n=1 → corr2d([m,m]<sub>1</sub>,[m,m]<sub>2</sub>) М...
задан 23 июля '18 в 21:28
1
ответ

Оптимизация функции с использованием tf.keras "model.predict()" с использованием оптимизаторов TensorFlow?

Я использовал tf.keras для создания полностью подключенного ANN, "my_model". Затем я пытаюсь свести к минимуму функцию f(x) = my_model.predict(x) - 0.5 + g(x) с помощью оптимизатора Адама из TensorFlow. Я попробовал приведенный ниже код: x = tf.get_...
задан 25 июля '18 в 12:18
2
ответов

Оптимизация Гиперпараметра для модели Keras с большим набором данных

Я хочу выполнить оптимизацию Гиперпараметра на моей модели Keras. Проблема в том, что набор данных довольно большой, обычно в обучении я использую fit_generator для загрузки данных в пакетном режиме с диска, но общий пакет, такой как SKlearn Gridsea...
задан 21 авг. '18 в 4:28
1
ответ

Как оптимизировать параметр k в knn с использованием генетического алгоритма

Я пытаюсь оптимизировать параметр k в knn, используя генетический алгоритм в r. Я попробовал это, используя следующий код, но все же получаю сообщение об ошибке. Я использовал точность knn, основанную на выбранном значении k как функцию функции. Пож...
задан 20 авг. '18 в 13:30
1
ответ

Предварительная выборка предыдущей памяти Xeon CPU (E5-2603)

Предварительная выборка предыдущей памяти выполняется так же быстро, как предварительная выборка переднего памяти в процессоре Xeon (E5-2603)? Я хочу реализовать алгоритм, который требует как прямого цикла, так и обратного цикла над данными. Поско...
задан 20 авг. '18 в 18:08
1
ответ

Как оптимизировать точечный продукт по небольшому размеру в numpy?

У меня два np.ndarray s a - массив формы (13000, 8, 315000) и тип uint8 b - массив формы (8,) и тип float32 Я хочу умножить каждый срез вдоль второго измерения (8) на соответствующий элемент из b и суммировать по этой размерности (т.е. Точечный пр...
задан 21 авг. '18 в 15:54
2
ответов

Cython Оптимизация Numpy для Loop

Я новичок в cython и имею следующий код для цикла numpy, который я пытаюсь оптимизировать. До сих пор этот код Cython был не намного быстрее, чем цикл numpy for. # cython: infer_types = True import numpy as np cimport numpy DTYPE = np.double def h...
задан 21 авг. '18 в 17:28