Как увеличить скорость записи данных clob в файл
Мы извлекаем данные из базы данных oracle в файл с помощью C# oracleDataReader, мы используем несколько потоков, и я обнаружил, что чтение данных, отличных от clob, очень быстро, скажем, 4 минуты для 1 ГБ. Но когда данные содержат clob это очень очень медленно, даже 12 МБ данных clob занимает около 3 часов.
Я попытался увеличить буфер с 64 КБ до 5 Мб.
Пожалуйста, предложите, как увеличить скорость записи clob в файл.
Исходный код
Мы используем 2 файла 1 для фактического csv и 1 для clob. мы пишем recordpointer в места типа CLOB в файл CSV и в файл CLOB, когда мы пишем recordpointer, CLOB значение.
else if (objVal is OracleClob)
{
OracleClob oraVal = (OracleClob)objVal;
if (oraVal.IsEmpty)
sw.Write("");
else
{
// using (StreamWriter writer = new StreamWriter(fileName, true))
{
Interlocked.Increment(ref recordPointer);
if (recordPointer == 1)
{
string fileName = outputFileName.Remove(outputFileName.LastIndexOf("."));
fileName = fileName + ".clobcsv";
clobWriter = new StreamWriter(fileName, true);
log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file");
clobWriter.WriteLine("Id," + cols[i]);
}
StringBuilder sb = new StringBuilder(""");
StringBuilder value = new StringBuilder();
value.Append(oraVal.Value);
//CsvEscape(value.ToString());
value.Replace(""", """");
sb.Append(recordPointer);
sb.Append(""");
sb.Append(delimiter);
sb.Append(""");
//sb.Append(oraVal.Value.Replace(""", """"));
sb.Append(value);
value.Clear();
sb.Append(""");
clobWriter.WriteLine(sb);
//clobWriter.WriteLine(""" + recordPointer + """ + delimiter + """ + oraVal.Value.Replace(""", """") + """);
}
sw.Write(recordPointer);
}
}
2 ответа:
Возможно, вы захотите использовать инструмент Oracle для экспорта данных. Существует множество способов выполнения ввода-вывода файлов, и некоторые из них, вероятно, будут намного быстрее, чем то, что вы делаете. Например, я только что использовал dbms_xslprocessor.clob2file для записи 12 МБ CLOB за 16 секунд на медленном ПК. Вот неполный список опций.
Попробуйте установить
LOBFetchSize
в -1. http://www.stanford.edu/dept/itss/docs/oracle/10g/win.101/b10117/features003.htm