Использование репозитория git в качестве бэкэнда базы данных

действительно интересный подход. Я бы сказал, что если вам нужно хранить данные, используйте базу данных, а не репозиторий исходного кода, который предназначен для очень конкретной задачи. Если вы можете использовать git out-of-the-box, то это нормально, но вам, вероятно, нужно построить слой репозитория документов над ним. Таким образом, вы могли бы построить его над традиционной базой данных, а также, не так ли? И если это встроенный контроль версий, который вас интересует, почему бы просто не использовать один из хранилище документов с открытым исходным кодом инструменты? Есть много, чтобы выбрать из.

Ну, если вы все равно решите пойти на Git backend, то в основном это будет работать для ваших требований, если вы реализуете его, как описано. Но:

1) Вы упомянули "кластер серверов, которые толкают/тянут друг друга" - я думал об этом некоторое время, и до сих пор я не уверен. Вы не можете нажать/вытащить несколько репозиториев как атомарную операцию. Интересно, может ли быть возможность некоторого беспорядка слияния во время одновременного работа.

2) Возможно, вам это не нужно, но очевидная функциональность репозитория документов, который вы не указали, - это контроль доступа. Вы можете ограничить доступ к некоторым путям (=категориям) через подмодули, но, вероятно, вы не сможете легко предоставить доступ на уровне документа.

мои 2 пенса стоит. Немного тоски, но ........ У меня было аналогичное требование в одном из моих инкубационных проектов. Как и у вас, мои ключевые требования, где база данных документов (xml в моем случае),с версиями документов. Это было для многопользовательской системы с большим количеством вариантов использования совместной работы. Я предпочитал использовать доступные решения с открытым исходным кодом, которые поддерживают большинство ключевых требований.

чтобы сократить погоню, я не мог найти ни одного продукта, который при условии, что оба они достаточно масштабируемы (количество пользователей, объемы использования, хранилища и вычислительные ресурсы).Я был склонен к git для всех перспективных возможностей и (вероятных) решений, которые можно было бы создать из него. Поскольку я играл с опцией git больше, переход от одной пользовательской перспективы к многопользовательской ( milli) пользовательской перспективе стал очевидной проблемой. К сожалению, мне не удалось сделать существенный анализ производительности, как это сделали вы. ( .. ленивый / бросить рано ....для версия 2, мантра) власть вам!. Во всяком случае, моя предвзятая идея с тех пор превратилась в следующую (все еще предвзятую ) альтернативу: сетку инструментов, которые являются лучшими в своих отдельных сферах, базах данных и контроле версий.

пока еще идет работа ( ...и слегка пренебречь ) превратился версии просто так .

• на интерфейсе: (userfacing ) используйте базу данных для 1-го уровня хранение (взаимодействие с пользовательскими приложениями )
• на backend, используйте систему управления версиями (VCS) (например, git ) для выполнения управление версиями объектов данных в базе данных

по сути, это будет означать добавление плагина управления версиями в базу данных с некоторым интеграционным клеем, который вам, возможно, придется разработать, но может быть намного проще.

Как это будет (предполагается ) работать, что основной многопользовательский интерфейс обмена данными осуществляется через базу данных. СУБД будет обрабатывайте все забавные и сложные вопросы , такие как многопользовательские, параллелизм e, атомарные операции и т. д. На бэкэнде VCS выполнит управление версиями для одного набора объектов данных (без параллелизма или многопользовательских проблем). Для каждой эффективной транзакции в базе данных управление версиями выполняется только для записей данных, которые были бы эффективно изменены.

как для сопрягая клея, оно будет в форме простой взаимодействуя функции между база данных и VCS. С точки зрения дизайна, в качестве простого подхода будет интерфейс, управляемый событиями, с обновлениями данных из базы данных, запускающими процедуры контроля версий ( подсказка: предполагая Mysql, использование триггеров и sys_exec () бла-бла ... Что касается сложности реализации, то она будет варьироваться от простой и эффективной ( например, скриптинг ) до сложной и замечательной ( какой-то запрограммированный интерфейс коннектора) . Все зависит от того, насколько безумно вы хотите чтобы пойти с ним, и сколько пота капитала вы готовы потратить. Я считаю, что простые сценарии должны делать магию. И чтобы получить доступ к конечному результату, различным версиям данных, простой альтернативой является заполнение клона базы данных (больше клона структуры базы данных) данными, на которые ссылается тег/идентификатор/хэш версии в VCS. опять же, этот бит будет простым запросом/переводом / заданием карты интерфейса.

есть еще некоторые проблемы и неизвестные, с которыми нужно иметь дело, но я полагаю, что влияние и актуальность большинства из них во многом будут зависеть от ваших требований к приложениям и вариантов использования. Некоторые из них могут просто оказаться не проблемами. Некоторые из проблем включают в себя сопоставление производительности между двумя ключевыми модулями, базой данных и VCS, для приложения с высокой частотой обновления данных, масштабирование ресурсов (мощности хранения и обработки ) с течением времени на стороне git по мере роста данных и пользователей: устойчивый, экспоненциальный или в конечном итоге плато

из коктейля выше, вот что я сейчас завариваю

• использование Git для VCS (первоначально считалось хорошим старым CVS из-за использования только наборов изменений или дельт между 2 версиями )
• использование mysql ( из-за высокоструктурированной природы моих данных, xml со строгими схемами xml )
• играя с MongoDB (чтобы попробовать базу данных NoSQl, которая тесно соответствует собственной структуре базы данных, используемой в git)

некоторые забавные факты - git фактически делает четкие вещи для оптимизации хранения, такие как сжатие и хранение только дельт между ревизиями объектов - Да, git хранит только наборы изменений или дельты между ревизиями объектов данных, где это применимо (он знает, когда и как) . Ссылка: packfiles, глубоко в кишки Git internals - Обзор хранения объектов git (content-addressable filesystem), показывает поразительное сходство ( с точки зрения концепции) с базами данных noSQL, такими как mongoDB. Опять же, за счет пота капитала, это может обеспечить более интересные возможности для интеграции 2, и производительность настройки

Если Вы зашли так далеко, позвольте мне, если вышеизложенное может быть применимо к вашему случаю, и предполагая , что это будет так, как это будет соответствовать некоторым аспектам в вашем последнем всестороннем анализе производительности

как вы уже упоминали, многопользовательский случай немного сложнее обрабатывать. Одним из возможных решений было бы использовать пользовательские индексные файлы Git, приводящие к

• нет необходимости в отдельных рабочих копиях (использование диска ограничено измененными файлами)
• нет необходимости в длительной подготовительной работе (на сеанс пользователя)

фокус в том, чтобы объединить в Git GIT_INDEX_FILE переменная окружения с инструментами для создания git коммитов вручную:

• git hash-object
• git update-index
• git write-tree
• git commit-tree

схема решения следует (фактические хэши SHA1 опущены из команд):

# Initialize the index
# N.B. Use the commit hash since refs might changed during the session.
$ GIT_INDEX_FILE=user_index_file git reset --hard <starting_commit_hash>

#
# Change data and save it to `changed_file`
#

# Save changed data to the Git object database. Returns a SHA1 hash to the blob.
$ cat changed_file | git hash-object -t blob -w --stdin
da39a3ee5e6b4b0d3255bfef95601890afd80709

# Add the changed file (using the object hash) to the user-specific index
# N.B. When adding new files, --add is required
$ GIT_INDEX_FILE=user_index_file git update-index --cacheinfo 100644 <changed_data_hash> path/to/the/changed_file

# Write the index to the object db. Returns a SHA1 hash to the tree object
$ GIT_INDEX_FILE=user_index_file git write-tree
8ea32f8432d9d4fa9f9b2b602ec7ee6c90aa2d53

# Create a commit from the tree. Returns a SHA1 hash to the commit object
# N.B. Parent commit should the same commit as in the first phase.
$ echo "User X updated their data" | git commit-tree <new_tree_hash> -p <starting_commit_hash>
3f8c225835e64314f5da40e6a568ff894886b952

# Create a ref to the new commit
git update-ref refs/heads/users/user_x_change_y <new_commit_hash>

В зависимости от ваших данных вы можете использовать задание cron для объединения новых ссылок в master но разрешение конфликта, возможно, самая трудная часть здесь.

идеи, чтобы сделать его легче приветствуются.

реализовал Руби библиотека на libgit2 Что делает это довольно легко реализовать и исследовать. Есть некоторые очевидные ограничения, но это также довольно освобождающая система, так как вы получаете полную цепочку инструментов git.

документация включает в себя некоторые представления о производительности, компромиссы и т. д.