Правильно ли читать текстовый файл utf-16 в строку без внешних библиотек?

Решение C++11 (поддерживаемое, на вашей платформе, Visual Studio с 2010 года, насколько мне известно), было бы:

#include <fstream>
#include <iostream>
#include <locale>
#include <codecvt>
int main()
{
    // open as a byte stream
    std::wifstream fin("text.txt", std::ios::binary);
    // apply BOM-sensitive UTF-16 facet
    fin.imbue(std::locale(fin.getloc(),
       new std::codecvt_utf16<wchar_t, 0x10ffff, std::consume_header>));
    // read     
    for(wchar_t c; fin.get(c); )
            std::cout << std::showbase << std::hex << c << '\n';
}

Правка:

Таким образом, похоже, что проблема заключалась в том, что Windows обрабатывает определенные последовательности магических байтов как конец файла в текстовом режиме. Это решается с помощью двоичного режима для чтения файла std::ifstream fin("filename", std::ios::binary);, а затем копирования данных в строку wstring, как вы уже это делаете.

---

---

Самым простым и непереносимым решением было бы просто скопировать данные файла в массив wchar_t. Это основано на том факте, что wchar_t в Windows составляет 2 байта и использует UTF-16 в качестве своего кодирование.

---

Вам будет немного трудно преобразовать UTF-16 в кодировку wchar_t, специфичную для локали, полностью переносимым способом.

Вот функциональность преобразования unicode, доступная в стандартной библиотеке C++ (хотя VS 10 и 11 реализуют только элементы 3, 4 и 5)

1. codecvt<char32_t,char,mbstate_t>
2. codecvt<char16_t,char,mbstate_t>
3. codecvt_utf8
4. codecvt_utf16
5. codecvt_utf8_utf16
6. c32rtomb/mbrtoc32
7. c16rtomb/mbrtoc16

И что каждый из них делает

1. фасет codecvt, который всегда преобразуется между UTF-8 и UTF-32
2. преобразование между UTF-8 и UTF-16
3. преобразует между UTF-8 и UCS-2 или UCS-4 в зависимости от размера целевого элемента (символы вне BMP, вероятно, усеченный)
4. преобразует последовательность символов с использованием схемы кодирования UTF-16 и UCS-2 или UCS-4
5. преобразование между UTF-8 и UTF-16
6. Если макрос __STDC_UTF_32__ определен, эти функции преобразуются между кодировкой char текущей локали и UTF-32
7. Если макрос __STDC_UTF_16__ определен, эти функции преобразуются между кодировкой char текущей локали и UTF-16

Если __STDC_ISO_10646__ определен, то преобразование непосредственно с помощью codecvt_utf16<wchar_t> должно быть прекрасным, так как это макрос указывает, что значения wchar_t во всех локалях соответствуют коротким именам символов Юникода (и таким образом подразумевает, что wchar_t достаточно велик, чтобы содержать любое такое значение).

К сожалению, нет ничего определенного, что идет непосредственно от UTF-16 к wchar_t. можно перейти к UTF-16 - > UCS-4 - > mb (if __STDC_UTF_32__) - > wc, но вы потеряете все, что не представляется в многобайтовой кодировке локали. И конечно, несмотря ни на что, преобразование из UTF-16 в wchar_t потеряет все не представляется в кодировке wchar_t локали.

---

Поэтому, вероятно, не стоит быть переносимым, и вместо этого вы можете просто прочитать данные в массив wchar_t или использовать какой-либо другой специфический для Windows механизм, такой как режим _O_U16TEXT для файлов.

Это должно строить и работать где угодно, но делает кучу предположений, чтобы на самом деле работать:

#include <fstream>
#include <sstream>
#include <iostream>

int main ()
{
    std::stringstream ss;
    std::ifstream fin("filename");
    ss << fin.rdbuf(); // dump file contents into a stringstream
    std::string const &s = ss.str();
    if (s.size()%sizeof(wchar_t) != 0)
    {
        std::cerr << "file not the right size\n"; // must be even, two bytes per code unit
        return 1;
    }
    std::wstring ws;
    ws.resize(s.size()/sizeof(wchar_t));
    std::memcpy(&ws[0],s.c_str(),s.size()); // copy data into wstring
}

Вероятно, вам следует, по крайней мере, добавить код для обработки endianess и 'BOM'. Кроме того, новые строки Windows не преобразуются автоматически, поэтому вам нужно сделать это вручную.