hdf5

У меня очень много связанных с временем научных данных для записи, значит, данные должны быть записаны в файл hdf5 каждые несколько секунд. Моя структура файлов hdf5 представлена ниже: Создайте множество временных групп, таких как time-1-group, time-2-group, time-3-group и т. д... в группе time создается м...

import h5py import numpy as np f = h5py.File('test','w') f.create_dataset('key1', data = np.array([1,2,3])) f.create_dataset('key2', data = np.array([4,5,6])) f.close() Создает файл с именем test и записывает два массива под ключами key1 и key2 соответственно. Однако при закрытии объекта file и повторном ...

У нас были сбои программ из-за использования слишком большого объема памяти. Это с HDF5 1.8.9. В большинстве случаев у нас нет проблем, но иногда с большими файлами происходит следующее: В этом примере у меня есть 325MB HDF5-файл , который заставляет 2GB памяти использоваться для чтения некоторых его знач...

Здесь умножение матриц с помощью hdf5 я использую hdf5 (pytables) для большого умножения матриц, но я был удивлен, потому что с помощью hdf5 он работает еще быстрее, чем с помощью простого numpy.расставьте точки и храните матрицы в оперативной памяти, в чем причина такого поведения? И, возможно, есть какая-...

Когда я использовал NumPy, я сохранял его данные в собственном формате *.НПИ. Это очень быстро и дало мне некоторые преимущества, как этот я мог читать *.npy из C кода as простые двоичные данные(я имею в виду *.npy являются бинарно-совместимо со структурами C) Теперь я имею дело с HDF5 (PyTables в данный ...

Я пытаюсь сохранить около 3000 массивов numpy, используя формат данных HDF5. Длина массивов варьируется от 5306 до 121999 НП.float64 Я получаю Object dtype dtype('O') has no native HDF5 equivalent ошибка так как из-за нерегулярного характера данных numpy использует общий класс объектов. Моя идея состояла в...

Я создал файл HDF5, по-видимому, без каких-либо проблем, под Ubuntu 12.04 (32-битная версия), используя Anaconda в качестве дистрибутива Python и записи в ноутбуках ipython. Базовые данные - это все массивы numpy. Например, import numpy as np import h5py f = h5py.File('myfile.hdf5','w') group = f.create_g...

Я пытался разгадать ответ на этот вопрос в течение многих месяцев, изучая панд. Я использую SAS для своей повседневной работы, и это отлично подходит для его поддержки вне ядра. Однако SAS ужасен как часть программного обеспечения по многим другим причинам. однажды я надеюсь заменить свое использование SAS...

У кого-нибудь есть достаточный опыт работы с NetCDF и HDF5, чтобы дать некоторые плюсы/ минусы о них как способ хранения научных данных? Я использовал HDF5 и хотел бы читать/писать через Java, но интерфейс по сути является оболочкой вокруг библиотек C, которые я нашел запутанными, поэтому NetCDF кажется инт...

У меня есть следующие вопросы о производительности HDF5 и параллелизме: поддерживает ли HDF5 параллельный доступ на запись? соображения параллелизма в сторону, как производительность HDF5 с точки зрения производительность ввода/вывода (не степень сжатия влияет на производительность)? поскольку я использую ...