Представление букв

Unicode -- это не кодировка, это "реестр" символов. Иногда слоэно различить "одинаковые" и "разные" буквы. Буквам сопоставлены "магические числа".

Например, "ё" (русская йо):

• "U+00451" "магический номер"
• "ё" или "ё" записать в виде numeric entity
• "ё" entity (в MathML, а также в SGML в isocyr1)
• name: CYRILLIC SMALL LETTER IO
• LaTeX: cyrcharcyryo{}

Поиск символов, преобразование различных представлений: http://www.zvon.org/other/charSearch/PHP/search.php

По-быстрому получить "магический" код символа:

$ echo -n 'ё' | iconv -f koi8-r -t ucs2 | od -t x2
0000000 0451

Кодировки unicode

Важно: unicode -- это не кодировка. Это абстрактное описание. International standard ISO/IEC 10646.

Яva: U+042f U+0076 U+0061

А теперь про кодировки.

"Яva": 04 2f 00 76 00 61
"Яva": 2f 04 76 00 61 00

Делают и так, и так. "FE FF" -- BOM -- Unicode Byte Order Mark. UCS-2/UTF-16, два варианта из-за BOM

Unicode не всем понравился: слишком большой расход памяти. Особенно в UCS-4.

utf8

September 2, 1992, Pike и Thompson придумали за обедом utf8, а затем реализовали её, и система plan9 стала всюду использовать utf8.

UTF-8 (8-bit Unicode Transformation Format). RFC 3629.

Таблица перевода:

000000-00007F:  0xxxxxxx
000080-0007FF:  110xxxxx 10xxxxxx
000800-00FFFF:  1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

Пример:

Я:   0x042f: 10000101111 -> 10000.101111 -> 11010000 10101111 -> D0 AF
va:  76 61
Яva: D0 AF 76 61

А ещё бывают UTF-16 и UTF-7. А ещё у Явы (и, наверное, не только) своё представление об UTF-8.

• Символ U+0000 кодируется по-своему
• Т.к. на символ отведено 16 бит, то их не хватает на всё, поэтому появляются "серрогатные" символы. Java-UTF-8 такова, что за один тик декодируется один Ява-символ, а не один unicode символ.

Очевидные свойства:

Плюсы:

• Можно закодировать любой символ.
• Для латинских букв совпадает с ASCII, что полезно как для совместимости, так и для места.
• Байтовая последовательность для одного символа не встречается в байтовой последовательности любого другого символа.
• Если при передаче данных байтики испортились -- это не фатально.
• Первого байта достаточно, чтобы узнать длину всей последовательности.
• На выходе нет байта 0x00.
• В некоторых случаях правильно работает наивная сортировка.
• Все протоколы инета должны поддерживать.

Минусы:

• Размер символа варьируется, сложно подсчитать длину в байтах.
• Китайский/Японский/Корейский текст требует 3 байта на букву. Для них лучше использовать UTF-16 (два байта на букву).
• Некоторые парсеры работают неправильно с длинными последовательностями. Появляется возможность закодировать одну и ту же буквами разными послежолвательностями. Приводит к проблемам с безопасностью.

Зачёт: продемонстрировать на примере "Яva" как буква "Я" кодируется разными последовательностями.

Указание кодировки

Важно. Не бывает такого понятия как "просто текст"! Строка без знания кодировки бессмысленна.

Способы задания кодировки:

• интуитивный (догадаться по окружению пользователя).
• <?xml versoin="1.0" encoding="???????"?>
• Content-type: xxx; charset=windows-1251
• <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
• Вкрапления base64 в Subject письма: "xxxx =?koi8-r?B?245676576=?= xxx"
• Свойство потока данных

В некоторых случаях кодировку не указать: zip-архивы, mp3 tags. И тогда всё плохо.

Транспортная кодировка:

• quoted-printable
• base64
• uue

Unicode внутри языков

C/C++:

• Тип wchar_t ("wide char") вместо типа char (на самом деле, лучше через макрос, который раскрывается в нужный тип).
• Использование wcs-функций вместо str-функций (например, wcscat и wcslen заместоstrcat и strlen).
• Для создания UCS-2-строки в C используется префикс "L": L"Hello".

Java/C#/Python/etc -- внутри utf8. Но не без проблем.

• У Java небольшое отклонение.
• Perl: после перехода на utf8 половина модулей на CPAN стала неправильно работать.
• Python: очень хорошо. Но есть проблемы при расширении с помощью C. SWIG'е генерирует (начало 2004, может и сейчас ещё) неправильный код.

Когда "тест"!="тест" (первое введено пользователем в web-формочку, второе -- в исходный код программы). Указание кодировки при компиляции программы или использование unicode-escapes. Второе лучше и надёжнее.

Локаль

Кодировка -- это хорошо, но правильные программы должны учитывать "культуру". Пример локали:

ru_RU.koi8-r

Обычно задаётся переменной окружения "LC_ALL". Есть и другие переменные для тонкой настройки, их список -- в любой книжке про unix. По умолчанию "C" или "POSIX".

Добавить пояснение, почему регэкспы и токеназеры не работают. Либо код криво написан, либо не выставлена локаль.

LC_NUMERIC стоит всегда держать в "C" или "POSIX". О проблемах говорили в прошлый раз.

Про LC_COLLATE. Почему нельзя использовать "наивные" сортировки.

• Русское "ё".
• Испанское "ll".
• Лигатура "ffi"
• и т.д.

В некоторых ОС локаль не меняется.

Проблема DOS'овского чёрного окна. А нём используется oem-кодировка (например, cp866). Поэтому "type file.txt" выводит нечитаемый текст. В принципе, кодировку можно поменять, но тогда "призовая игра":

"cmd.com ..."
vs
"cmd.com ... | more.

Взаимодействие 8-bit и unicode

От этого пока никуда не деться.

Проблема: делаем "print(str)", "str" содержит "u:", а выходная кодировка "koi8-r". Что случится?

• В Python: exception.
• В Windows: "u".
• В Java: появится значок вопроса. Есть большой FAQ на эту тему: "Java: Русские буквы и не только..." <http://people.comita.spb.ru/users/sergeya/java/ruschars.html>.

Это не лечится. Надо внимательно работать с кодировками reader'ов, writer'ов и stream'ов, и знать что в какой кодировке находится. Проще всего входящие данные сразу преобразовывать в unicode.

Важно: При отладке unicode-действий нельзя использовать для отладки просто print. Ведь при этом происходит преобразование, и на выходе получается неправда. Правильный способ -- написать и использовать функцию "asciify", которая символы [^A-Za-z0-9] преобразует в коды типа "&#x0423;".

gettext

Про него уже говорили. Код пишется примерно так:

print(_("Hello, World!"))

Специальная программа вытаскивает строки, тексты переводятся на другие языки (po-файлы), результаты компилируются (mo-файлы). Есть GUI.

gettext есть для почти всех языков программирования, в том числе и для php.

Можно использовать не только для текста, но и для других данных.

В .NET есть что-то подобное.

Разное

В названии unicode-шрифтов обычно присутствует "iso-10446-1".

Если вывести мусор на терминал, то иногда можно что-нибудь исполнить.

В MSDN есть хорошая книжка про l10n и i18n. Рекомендую.

Флаги на сайтах надо использовать аккуратно (например, что использовать для английского языка?). Более тяжёлый случай: http://www.linux.org.ru/view-message.jsp?msgid=665958&page=0 "Флажки запрещены по соображениям политкорректности".