Windows Media Foundation использует IMFTransform для декодирования кадров фильмов mp4 в 2D текстуры

Возможен ли такой тип преобразования?

Да, это возможно. Stock H. 264 Video Decoder MFT является "Direct3D aware", что означает, что он может декодировать видео в поверхности Direct3D 9/текстуры Direct3D 11, используя DXVA. Или, если аппаратные возможности недостаточны, есть также резервный режим программного обеспечения. Вы заинтересованы в том, чтобы выходные данные доставлялись прямо в текстуру из соображений производительности (в противном случае вам пришлось бы загружать эти данные самостоятельно, тратя процессор и видео ресурсы на это).

Можно ли это сделать с помощью классов IMFTransform/SourceReader, как я устал выше, и мне просто нужно настроить код или мне нужно сделать этот тип преобразования вручную?

IMFTransform это абстрактный интерфейс. Он реализован декодером H. 264 (а также другими MFTs), и вы можете использовать его напрямую, или вы можете использовать API более высокого уровня Source Reader, чтобы заставить его управлять чтением видео из файла и декодированием с помощью этого MFT.

То есть MFT и Source Reader на самом деле не является эксклюзивным альтернативным вариантом, а вместо этого API более высокого и более низкого уровня. Интерфейс MFT предлагается декодером, и вы несете ответственность за подачу H. 264 и слив декодированного вывода. Source Reader управляет тем же MFT и добавляет возможность чтения файлов.

Сам Source Reader доступен в Windows 7, кстати (даже на Vista, может быть ограничен в наборе функций по сравнению с более новыми операционными системами).

Декодирование может быть выполнено следующим кодом:

                    MFT_OUTPUT_DATA_BUFFER loutputDataBuffer;

                    initOutputDataBuffer(
                        lTransform,
                        loutputDataBuffer);

                    DWORD lprocessOutputStatus = 0;

                    lresult = lTransform->ProcessOutput(
                        0,
                        1,
                        &loutputDataBuffer,
                        &lprocessOutputStatus);

                    if ((HRESULT)lresult == E_FAIL)
                    {
                        break;
                    }

Функция initOutputDataBuffer выделяет необходимую память. Пример этой функции представлен здесь:

            Result initOutputDataBuffer(IMFTransform* aPtrTransform,
            MFT_OUTPUT_DATA_BUFFER& aRefOutputBuffer)
        {
            Result lresult;

            MFT_OUTPUT_STREAM_INFO loutputStreamInfo;

            DWORD loutputStreamId = 0;

            CComPtrCustom<IMFSample> lOutputSample;

            CComPtrCustom<IMFMediaBuffer> lMediaBuffer;

            do
            {
                if (aPtrTransform == nullptr)
                {
                    lresult = E_POINTER;

                    break;
                }

                ZeroMemory(&loutputStreamInfo, sizeof(loutputStreamInfo));

                ZeroMemory(&aRefOutputBuffer, sizeof(aRefOutputBuffer));

                lresult = aPtrTransform->GetOutputStreamInfo(loutputStreamId, &loutputStreamInfo);

                if (lresult)
                {
                    break;
                }

                if ((loutputStreamInfo.dwFlags & MFT_OUTPUT_STREAM_PROVIDES_SAMPLES) == 0 &&
                    (loutputStreamInfo.dwFlags & MFT_OUTPUT_STREAM_CAN_PROVIDE_SAMPLES) == 0)
                {
                    lresult = MFCreateSample(&lOutputSample);

                    if (lresult)
                    {
                        break;
                    }

                    lresult = MFCreateMemoryBuffer(loutputStreamInfo.cbSize, &lMediaBuffer);

                    if (lresult)
                    {
                        break;
                    }

                    lresult = lOutputSample->AddBuffer(lMediaBuffer);

                    if (lresult)
                    {
                        break;
                    }

                    aRefOutputBuffer.pSample = lOutputSample.Detach();
                }
                else
                {
                    lresult = S_OK;
                }

                aRefOutputBuffer.dwStreamID = loutputStreamId;
            } while (false);

            return lresult;
        }

Он должен получить информацию о выходных образцах с помощью метода GetOutputStreamInfo IMFTransform. MFT_OUTPUT_STREAM_INFO содержит информацию о необходимом размере памяти для вывода образца носителя-cbSize. Ему нужно выделить память с таким размером, добавить ее в MediaSample и присоединить к th MFT_OUTPUT_DATA_BUFFER.

Таким образом, вы видите, что написание кода для кодирования и декодирования видео с помощью прямого вызова функции MediaFoundation может быть сложным и требует значительных знаний о нем. Из описания вашей задачи я вижу, что вам нужно только расшифровать видео и представить его. Я могу посоветовать вам попробовать использовать функциональность сеанса Media Foundation. Он разработан инженерами Microsoft и уже включает в себя алгоритмы использования необходимых кодеров и оптимизирован. В проектах Сеанс Media Foundation используется для поиска подходящего декодера для Медиаисточника, который создается для веб-камеры и захвата кадров в несжатом формате. Он уже делает необходимую обработку. Вам нужно только заменить источник Мультимедиа из веб-камеры на источник Мультимедиа из видеофайла. Это может быть проще, чем написание кода с прямым вызовом IMFTransform для декодирования и позволяет упростить многие задачи (например - стабилизацию частоты кадров. Если код будет рендеринг изображения сразу после декодирования, а затем декодировать новый кадр, то он может рендерить 1 минутный видеоклип в течение нескольких секунд, или если рендеринг видео и другого контента может занять более одного кадра длительность видео может быть представлена в стиле "замедленной съемки" и рендеринг 1 минутного видеоклипа может занять 2, 3 или 5 минут. Я не знаю, для какого проекта вам нужно декодирование видео, но у вас должны быть серьезные основания для использования кода с прямым вызовом функций Media Foundation и межфазные границы.

С уважением.