multiprocessing

Я учусь, как использовать threading и multiprocessing модули в Python для параллельного выполнения определенных операций и ускорения моего кода. Я нахожу это трудным (возможно, потому, что у меня нет никакого теоретического фона об этом), чтобы понять, в чем разница между a ...

Предположим, у меня есть большой массив numpy в памяти, у меня есть функция func в этот гигантский массив в качестве входных данных (вместе с некоторыми другими параметрами). func С различными параметрами можно побежать параллельно. Например: def func(arr, param): # do stuff to arr, param # build array ...

Как использовать многопроцессорная обработка по решению чрезвычайно параллельные проблемы? смущающе параллельные задачи обычно состоят из трех основных частей: читать входные данные (из файла, базы данных, tcp-соединения и т. д.). выполнить расчеты по входным данным, где каждый расчет независимо от любо...

у меня есть 60 ГБ SciPy массив (Матрица) я должен разделить между 5+ multiprocessingProcess объекты. Я видел numpy-sharedmem и читал эта дискуссия в списке SciPy. Есть два подхода--numpy-sharedmem и с помощью multiprocessing.RawArray() и отображение NumPy dtypeь ctypeы. Теперь, numpy-sharedmem Кажется, это пу...

Кажется, что при возникновении исключения из многопроцессорной обработки.Процесс пула, нет трассировки стека или каких-либо других признаков того, что он не удался. Пример: from multiprocessing import Pool def go(): print(1) raise Exception() print(2) p = Pool() p.apply_async(go) p.close() p....

Я знаю, что на это уже отвечали раньше, но кажется, что выполнение скрипта напрямую " python filename.py-не работает. У меня есть Python 2.6.2 на SUSE Linux. код: #!/usr/bin/python # -*- coding: utf-8 -*- from multiprocessing import Pool p = Pool(1) def f(x): return x*x p.map(f, [1, 2, 3]) Командная с...

документация multiprocessing модуль показывает, как передать очередь в процесс, запущенный с помощью multiprocessing.Process. Но как я могу разделить очередь с асинхронными рабочими процессами, запущенными с apply_async? Мне не нужно динамическое присоединение или что-то еще, просто способ для работников (нео...

У меня есть задача с интенсивным ЦП сельдерея. Я хотел бы использовать всю вычислительную мощность (ядра) во многих экземплярах EC2, чтобы выполнить эту работу быстрее (параллельная распределенная задача сельдерея с многопроцессорной обработкой -Я думаю). условия резьбонарезной, многопроцессорная обработка,р...

есть ли способ зарегистрировать вывод stdout из данного процесса при использовании многопроцессорной обработки.Класс процесса в python?...

можно ли создать пул python, который не является демоническим? Я хочу, чтобы пул мог вызывать функцию, которая имеет другой пул внутри. Я хочу этого, потому что процессы deamon не могут создать процесс. В частности, это вызовет ошибку: AssertionError: daemonic processes are not allowed to have children на...