Поиск масштабируемого хранилища объектов в памяти, содержащего до 150 миллионов мелких объектов in.net

В настоящее время я работаю над системой управления данными, которая должна вычислять огромные объемы данных: представьте себе лист excel, содержащий около 150 миллионов ячеек с данными.

Мы используем базу данных sql server для хранения данных, но производительность вычислений неоптимальна по многим причинам. Рассматривая альтернативы, я подумал, что нужно попробовать структуры объектов в памяти.

Вот основные требования:

1. Нам нужна структура, которая поддерживает нескольких пользователей делать обновления на том же "листе" моей аналогии excel. Если производительность одного обновления достаточно высока, то сериализация обновлений всех пользователей приемлема

2. Мы абсолютно не можем принять потерю данных

3. Нам нужны индексы по объектному ключу, но также и некоторые индексы по частичным ключам, поэтому структура в памяти должна поддерживать не уникальные ключи, что приводит к эффективному поиску по частичным ключам, возвращающим коллекцию совпадающих записей

4. Должен поддерживать .NET

Учитывая эти условия, какие-либо предложения, пожалуйста?

Спасибо,

Кемаль