Как увеличить скорость записи данных clob в файл


Мы извлекаем данные из базы данных oracle в файл с помощью C# oracleDataReader, мы используем несколько потоков, и я обнаружил, что чтение данных, отличных от clob, очень быстро, скажем, 4 минуты для 1 ГБ. Но когда данные содержат clob это очень очень медленно, даже 12 МБ данных clob занимает около 3 часов.

Я попытался увеличить буфер с 64 КБ до 5 Мб.

Пожалуйста, предложите, как увеличить скорость записи clob в файл.

Исходный код

Мы используем 2 файла 1 для фактического csv и 1 для clob. мы пишем recordpointer в места типа CLOB в файл CSV и в файл CLOB, когда мы пишем recordpointer, CLOB значение.

else if (objVal is OracleClob)
{
    OracleClob oraVal = (OracleClob)objVal;
    if (oraVal.IsEmpty) 
        sw.Write("");
    else
    {
        //    using (StreamWriter writer = new StreamWriter(fileName, true))
        {
            Interlocked.Increment(ref recordPointer);
            if (recordPointer == 1)
            {
                string fileName = outputFileName.Remove(outputFileName.LastIndexOf("."));
                fileName = fileName + ".clobcsv";
                clobWriter = new StreamWriter(fileName, true);
                log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file");
                clobWriter.WriteLine("Id," + cols[i]);
            }
            StringBuilder sb = new StringBuilder(""");
            StringBuilder value = new StringBuilder();
            value.Append(oraVal.Value);
            //CsvEscape(value.ToString());
            value.Replace(""", """");

            sb.Append(recordPointer);
            sb.Append(""");
            sb.Append(delimiter);
            sb.Append(""");
            //sb.Append(oraVal.Value.Replace(""", """"));
            sb.Append(value);
            value.Clear();
            sb.Append(""");

            clobWriter.WriteLine(sb);
            //clobWriter.WriteLine(""" + recordPointer + """ + delimiter + """ + oraVal.Value.Replace(""", """") + """);                                    
        }
        sw.Write(recordPointer);
    }
}
2 3

2 ответа:

Возможно, вы захотите использовать инструмент Oracle для экспорта данных. Существует множество способов выполнения ввода-вывода файлов, и некоторые из них, вероятно, будут намного быстрее, чем то, что вы делаете. Например, я только что использовал dbms_xslprocessor.clob2file для записи 12 МБ CLOB за 16 секунд на медленном ПК. Вот неполный список опций.

Попробуйте установить LOBFetchSize в -1. http://www.stanford.edu/dept/itss/docs/oracle/10g/win.101/b10117/features003.htm