Вопросы с тегом 'multiprocessing'

Многопроцессорная обработка - это использование двух или более центральных процессоров (ЦП) в одной компьютерной системе. Соответствующие детали реализации и использования зависят от операционной системы и языка программирования. Поэтому всегда добавляйте теги для ОС и языка при использовании этого тега.
11

Многопроцессорная обработка vs Threading Python

Я пытаюсь понять преимущества multiprocessing над threading. Я знаю, что многопроцессорная обработка распространяется вокруг Global Interpreter Lock, но какие другие преимущества есть, и может ли threading не делать то же самое?
15 июн. '10 в 11:12
17

Многопроцессорный пул Python pool.map для нескольких аргументов

В библиотеке многопроцессорности Python существует ли вариант pool.map, который поддерживает несколько аргументов? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(...
26 мар. '11 в 14:23
21

Как я должен регистрироваться при использовании многопроцессорности в Python?

Сейчас у меня есть центральный модуль в рамках, который порождает несколько процессов, используя модуль Python 2.6 multiprocessing. Поскольку он использует multiprocessing, существует журнал поддержки многопроцессорности на уровне модуля, LOG = multi...
13 мар. '09 в 4:02
12

Невозможно рассортировать <тип 'instancemethod'> при использовании многопроцессорности Pool.map()

Я пытаюсь использовать функцию multiprocessing Pool.map() для разделения работы одновременно. Когда я использую следующий код, он отлично работает: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processe...
29 нояб. '09 в 22:08
8

Многопроцессорная обработка Python PicklingError: Can't pickle <type 'function'>

Мне жаль, что я не могу воспроизвести ошибку на более простом примере, а мой код слишком сложен для публикации. Если я запускаю программу в оболочке IPython вместо обычного Python, все работает хорошо. Я посмотрел несколько предыдущих заметок по эт...
10 янв. '12 в 14:28
16

Многопроцессорность: как использовать Pool.map для функции, определенной в классе?

Когда я запускаю что-то вроде: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) он отлично работает. Однако, полагая это как функцию класса: class calculate(object): def run(self): def f(x): ...
20 июл. '10 в 9:25
1

Многопроцессорность Python - Pipe vs Queue

Каковы основные различия между очередями и трудами в Пакет многопроцессорности Python? В каких сценариях следует выбирать один за другим? Когда выгодно использовать Pipe()? Когда выгодно использовать Queue()?
11 дек. '11 в 9:28
10

Прерывания клавиатуры с пулом многопроцессорности python

Как я могу обрабатывать события KeyboardInterrupt с пулами многопроцессорности python? Вот простой пример: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): ...
10 сент. '09 в 23:59
5

В чем различия между многопоточными и многопроцессорными модулями?

Я изучаю, как использовать модули threading и multiprocessing в Python для параллельной работы определенных операций и ускорения моего кода. Я нахожу это трудно (возможно, потому, что у меня нет теоретического фона), чтобы понять, какая разница меж...
07 авг. '13 в 21:37
3

Почему многопроцессорность использует только одно ядро ​​после импорта numpy?

Я не уверен, что это больше похоже на проблему с ОС, но я подумал, что попрошу здесь, если у кого-то есть представление о конце Python. Я пытаюсь параллелизовать цикл с процессором for с использованием joblib, но я считаю, что вместо каждого рабоче...
26 мар. '13 в 14:37
4

Объекты общей памяти в многопроцессорной обработке

Предположим, что у меня большой массив памяти numpy, у меня есть функция func, которая принимает этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). func с разными параметрами можно запускать параллельно. Напр...
23 мая '12 в 14:20
8

многопроцессорность: совместное использование большого объекта только для чтения между процессами?

Создаются ли дочерние процессы через multiprocessing общие объекты, созданные ранее в программе? У меня есть следующая настройка: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: ...
18 мар. '09 в 19:58
6

многопроцессорность: как разделить между несколькими процессами?

Программа, которая создает несколько процессов, которые работают в очереди с подключением, Q и может в конечном итоге манипулировать глобальным словарем D для хранения результатов. (поэтому каждый дочерний процесс может использовать D для хранения с...
26 июл. '11 в 15:29
1

Эффективное применение функции к сгруппированному pandas DataFrame параллельно

Мне часто приходится применять функцию к группам очень большого DataFrame (смешанных типов данных) и хотел бы использовать несколько ядер. Я могу создать итератор из групп и использовать модуль многопроцессорности, но он неэффективен, потому что ка...
30 июл. '12 в 20:08
1

multiprocessing.Pool: Какая разница между map_async и imap?

Я пытаюсь узнать, как использовать пакет Python multiprocessing, но я не понимаю разницы между map_async и imap. Я заметил, что оба map_async и imap выполняются асинхронно. Итак, когда я должен использовать один над другим? И как мне получить резуль...
23 окт. '14 в 3:23