MemoryCache не подчиняется ограничениям памяти в конфигурации

Я знаю, что этот ответ сумасшедший поздно, но лучше поздно, чем никогда. Я хотел, чтобы вы знали, что я написал версию MemoryCache это автоматически решает проблемы с коллекцией Gen 2 для вас. Поэтому он обрезается всякий раз, когда интервал опроса указывает на давление памяти. Если вы испытываете эту проблему, дайте ему идти!

http://www.nuget.org/packages/SharpMemoryCache

вы также можете найти его на GitHub, если вам интересно, как я его решил. Этот код довольно простой.

https://github.com/haneytron/sharpmemorycache

Я (к счастью) наткнулся на этот полезный пост вчера при первой попытке использовать MemoryCache. Я думал, что это будет простой случай установки значений и использования классов, но я столкнулся с аналогичными проблемами, описанными выше. Чтобы попытаться увидеть, что происходит, я извлек источник с помощью ILSpy, а затем настроил тест и прошел через код. Мой тестовый код был очень похож на код выше, поэтому я не буду его публиковать. Из моих тестов я заметил, что размер кэша никогда особенно точно (как упоминалось выше) и с учетом текущей реализации никогда не будет работать надежно. Однако физическое измерение было прекрасным, и если физическая память измерялась при каждом опросе, то мне казалось, что код будет работать надежно. Итак, я удалил проверку сборки мусора gen 2 в MemoryCacheStatistics; при нормальных условиях измерения памяти не будут выполняться, если с момента последнего измерения не было другой сборки мусора gen 2.

в тестовом сценарии это, очевидно, имеет большое значение, поскольку кэш постоянно поражается, поэтому объекты никогда не имеют возможности добраться до gen 2. Я думаю, что мы собираемся использовать измененную сборку этой dll в нашем проекте и использовать официальную сборку MS, когда .net 4.5 выйдет (что в соответствии с упомянутой выше статьей connect должно иметь исправление в ней). Логически я могу понять, почему проверка gen 2 была введена, но на практике я не уверен, что это имеет большой смысл. Если память достигает 90% (или какой-либо предел он был установлен), то это не должно иметь значения, если Gen 2 коллекция произошла или нет, элементы должны быть выселены независимо.

Я оставил мой тестовый код работает около 15 минут с physicalMemoryLimitPercentage установлен на 65%. Я видел, что использование памяти остается между 65-68% во время теста и видел, что вещи выселяются правильно. В моем тесте я установил pollingInterval на 5 секунд, physicalMemoryLimitPercentage на 65 и physicalMemoryLimitPercentage до 0, по умолчанию это.

следуя приведенному выше совету; реализация IMemoryCacheManager может быть выполнена для удаления вещей из кэша. Однако он будет страдать от упомянутой проблемы проверки gen 2. Хотя, в зависимости от сценария, это может не быть проблемой в производственном коде и может работать достаточно для людей.

Я тоже столкнулся с этой проблемой. Я кэширую объекты, которые запускаются в мой процесс десятки раз в секунду.

Я нашел следующую конфигурацию и использование освобождает элементы каждые 5 секунд большую часть времени.

приложение.config:

обратите внимание cacheMemoryLimitMegabytes. Когда это было установлено в ноль, процедура очистки не будет срабатывать в разумное время.

   <system.runtime.caching>
    <memoryCache>
      <namedCaches>
        <add name="Default" cacheMemoryLimitMegabytes="20" physicalMemoryLimitPercentage="0" pollingInterval="00:00:05" />
      </namedCaches>
    </memoryCache>
  </system.runtime.caching>  

добавлять к кэш:

MemoryCache.Default.Add(someKeyValue, objectToCache, new CacheItemPolicy { AbsoluteExpiration = DateTime.Now.AddSeconds(5), RemovedCallback = cacheItemRemoved });

подтверждение удаления кэша работает:

void cacheItemRemoved(CacheEntryRemovedArguments arguments)
{
    System.Diagnostics.Debug.WriteLine("Item removed from cache: {0} at {1}", arguments.CacheItem.Key, DateTime.Now.ToString());
}

Если вы используете следующий измененный класс и контролируете память через Диспетчер задач, на самом деле обрезается:

internal class Cache
{
    private Object Statlock = new object();
    private int ItemCount;
    private long size;
    private MemoryCache MemCache;
    private CacheItemPolicy CIPOL = new CacheItemPolicy();

    public Cache(double CacheSize)
    {
        NameValueCollection CacheSettings = new NameValueCollection(3);
        CacheSettings.Add("cacheMemoryLimitMegabytes", Convert.ToString(CacheSize));
        CacheSettings.Add("pollingInterval", Convert.ToString("00:00:01"));
        MemCache = new MemoryCache("TestCache", CacheSettings);
    }

    public void AddItem(string Name, string Value)
    {
        CacheItem CI = new CacheItem(Name, Value);
        MemCache.Add(CI, CIPOL);

        Console.WriteLine(MemCache.GetCount());
    }
}

Я провел некоторое тестирование на примере @Canacourse и модификации @woany, и я думаю, что есть некоторые критические вызовы, которые блокируют очистку кэша памяти.

public void CacheItemRemoved(CacheEntryRemovedArguments Args)
{
    // this WriteLine() will block the thread of
    // the MemoryCache long enough to slow it down,
    // and it will never catch up the amount of memory
    // beyond the limit
    Console.WriteLine("...");

    // ...

    // this ReadKey() will block the thread of 
    // the MemoryCache completely, till you press any key
    Console.ReadKey();
}

но почему модификация @woany, похоже, сохраняет память на том же уровне? Во-первых, RemovedCallback не установлен, и нет выхода консоли или ожидания ввода, который мог бы заблокировать поток кэша памяти.

во-вторых...

public void AddItem(string Name, string Value)
{
    // ...

    // this WriteLine will block the main thread long enough,
    // so that the thread of the MemoryCache can do its work more frequently
    Console.WriteLine("...");
}

A Нитка.Сон (1) каждый ~1000-й AddItem () будет иметь тот же эффект.

Ну, это не очень глубокое исследование проблемы, но похоже, что поток MemoryCache не получает достаточно времени процессора для очистки, в то время как добавляется много новых элементов.