Алгоритм кодирования UTF-8 вы сами описали ниже. На его алгоритмичности основано автоматическое распознавание, поскольку BOM для UTF-8 не обязательна, по крайней мере на практике. Если кодировка не указана внешней средой, большинство редакторов и браузеров пытаются раскодировать текст как UTF-8, а если не получается, считают его какой-то страховочной (fallback) кодировкой. Этот поведение я реализовал у себя в CoreLite, константа soFromTheWild кагбэ намекает. Строки CoreLite будут использоваться средой Кантора.

Кодовые точки Юникода -- абстрактное, математическое понятие. Они как числа в математике -- не имеют размера. При переходе от математики к байтам и словам появляются UTF, описывающие хранение абстрактных кодовых точек в виде конкретных битов и байтов. Если кодировать кодовые точки без преобразования, для полного охвата нужны 4 байта. Сейчас даже в Рунете можно встретиться с "верхним Юникодом" -- в моде эмодзи.

На практике чаще всего используется UTF-16. Юникод устроен таким образом, что в BMP (первых 64K точках) размещены символы современных земных языков, а всё что выше -- исторические и вымершие языки и иероглифы, плюс поп-культура вроде эмодзи. Про выбор кодировки для компилятора написано у Юрия, я с ним согласен. Если вы не создаете диалект Брейнфака на основе смайликов, UTF-16 подойдет и вам.

На мой вкус, с UTF-16 намного проще работать: разбор строки идет по 16-битным словам, и экзотика вроде эмодзи успешно пропускается, будучи закодированной в виде суррогатов, дополнительный код для их обхода не нужен. А в UTF-8, как мне кажется, придется раскодировать строку по ходу разбора, чтобы нормально отработать регистр или разложение символов (NFC/NFKC/...).

А как быть с отладкой? В дампе памяти ведь окажется строка во внутренней кодировке.

⚕️

    U+1F469 WOMAN
    U+200D ZERO WIDTH JOINER
    U+2695 STAFF OF AESCULAPIUS
    U+FE0F VARIATION SELECTOR-16

«белая женщина-врач», являющейся комбинацией символов «женщина» (U+1F469), «модификатора — белый цвет» (U+1F3FB), «символ медицины» (U+2695) и zero-width joiner (U+200D) между ними. Такая комбинация вообще не декларируется стандартом и эмодзи такого в Unicode нет по понятным причинам.

https://habr.com/company/1c/blog/429678 … t_19366794

Юникод — это фундаментально кодировка с переменной длиной графем. Работать с текстом в основном надо либо на визуальном уровне графем (иногда их частей) для отображения и редактирования, либо на уровне байтов для передачи и хранения. Формат представления никак не помогает правильно работать с графемами: что в UTF-32, что в UTF-8 надо знать отдельные правила их обработки. В любом случае для обработки графем придётся жить с тем, что один условный char в массиве не соответствует одной графеме.

Описание реализации строк в языке Swift (символ - это группа глифов/кодепоинтов, внутреннее представление скрывается от программиста-пользователя языка).

Отредактировано Лис (2019-03-26 18:27:32)

Что мешает перечислить необходимые точки из юникода и поддерживать подобные перечисления?
Разве что восьмибитка это слишком много для русского языка.

Отредактировано MihalNik (2019-03-26 19:46:42)

Расстановка ударений может быть исполнена внешней средой - для чтения. Или Лис предлагает набирать каждый раз вручную?

Отредактировано MihalNik (2019-03-26 20:18:25)

В целом помощь в расстановке ударений - это интересная идея. Но среда не во всех случаях сможет определить, где нужно поставить ударение.
Если бы она была такая умная, то и тексты не надо было бы набирать - она бы писала их сама.

Ну сейчас же набира́ет, если ему хочется?

Ударения могут падать только на гласные буквы. А их меньше, чем всех букв. Это должно позволить упаковать три вида ударений в один байт.
10 гласных * 4 варианта (без ударения, и три с ударениями) = 40 букв + 22 согласные, всё ещё помещаемся в 6 бит, заглавность - седьмой бит.
Остаётся ещё место под бит "древние буквы", чтобы передавать дореволюционные буквы и какие там ещё бывают.
Ещё последний бит можно использовать под титло, или без титла, а место отвести под цифры.
(места в кодировке с титлом останется всего на один знак препинания и пробел 64-40-22=2, мало, но зато без иностранных индийских цифр из арабских чисел)
Ударения с титлом не комбинируются вроде бы, поэтому там где-то 30 символов остаётся на знаки препинания (и, так и быть, на цифры)...

В предыдущей теме про кодировку
Ищу кодировку
древние буквы учтены не были...

И кнопку переключения эпохи на клавиатуре можно было бы сделать (по аналогии с Caps Lock или даже на её месте), с двумя положениями:
- современные буквы, осквернённые глобализацией
- церковнославянские, православные

Отредактировано Лис (2021-11-27 08:38:29)

Меня долго мучала необходимость называть UTF-8 буквами латиницы.

УПС-8
    ужасное представление символов 8-ми битными группами битов

такое имя я предлагаю использовать.

Теперь ещё надо придумать название для альтернативной кодировки, которую я предлагал раньше (там где кириллица в символах 0..127 и биты продолжения/стартовые биты определены по-другому)

может быть назвать КРЯ-8 (Кириллическая кодировка Российских Языков), в честь безвременно покинувшего форум Уткина?

Но понадобятся и другие слова, чтобы перекодировать УПС-8 в КРЯ-8.

юникод <-> Unicode
юнипоинт <-> Codepoint
юниграфема <-> Extended Grapheme Cluster (ранее он же был Grapheme Cluster)
юникластер <-> Grapheme Cluster Set (TextElement)

для российской кодировки (как её назвать?) надо подумать

юнипоинт <-> закорючка
юниграфема <-> группаклякс
юникластер <-> символ

КОЗА
    Комплект Обобщенных Закорючек для Алфавита

Не очень удачное название, нужны идеи...

УТКА
    унифицированная таблица кривулин алфавитов

Стандарт УТКА в кодировке КРЯ-8, кто может, пусть называет лучше.

Отредактировано Лис (2022-12-14 18:25:36)