Protocol Buffers (Protobuf)
разработан Google, является языком описания интерфейсов и структур данных, который затем компилируется в код для сериализации и десериализации.
```
message Person {
required string name = 1;
required int32 id = 2;
optional string email = 3;
}
```
Kaitai Struct (KSY), Kaitai project
предназначен специально для описания и парсинга бинарных форматов (файлов, пакетов, структур данных).
```
meta:
id: simple_packet
endian: be
types:
packet_body:
seq:
- id: magic_number
type: u4
- id: payload_size
type: u2
- id: data
type: bytes
size: payload_size
```
ASN.1 (Abstract Syntax Notation One)
1984 г., X.208/X.209 — стандарт CCITT/ISO.
язык, используемый для описания данных, часто применяемый в телекоммуникациях
декларативно описывает структуры, которые затем могут быть закодированы с использованием различных правил (BER, CER, DER, PER).
самое важное — ASN.1 отделяет содержание от правил кодирования.
```
MyData ::= SEQUENCE {
id INTEGER,
label VisibleString
}
```
Apache Avro
https://avro.apache.org/docs/
требует схемы, описанной на JSON, для сериализации и десериализации данных.
схема JSON описывает все поля, их типы и порядок. Avro использует эту схему для обеспечения эволюции данных (добавление/удаление полей).
```
{
"type": "record",
"name": "Person",
"fields": [
{"name": "name", "type": "string"},
{"name": "id", "type": "int"},
{"name": "email", "type": ["null", "string"], "default": null}
]
}
```
Apache Trift
https://thrift.apache.org/
использует собственный IDL для декларативного описания структур данных и сервисов.
```
struct Person {
1: string name,
2: i32 id,
3: optional string email
}
```
YAML Enc (UTS #47)
стандарт кодирования, который позволяет представлять данные, описанные в YAML, в виде бинарного потока.
декларативным является сам YAML (описывающий структуру), а
YAML Enc — это декларативно заданный метод кодирования этой структуры в бинарный вид
Все перечисленные инструменты (Protobuf, Avro, Thrift, Kaitai, ASN.1) являются примерами декларативного подхода к описанию кодировок, поскольку они требуют от пользователя описать желаемую структуру данных, а не писать императивные шаги для побайтового чтения или записи.
TLV - это подход.
TLV — Type-Length-Value
поля могут определяться тегами, иметь разный размер, или быть пропущены
Другие:
Cap'n Proto (zero-copy)
основная цель — максимальная скорость за счет исключения фазы десериализации (копирования данных).
кодирует данные таким образом, что они напрямую отображаются в память (Memory-Mapped I/O).
использует собственный DSL (язык описания схем), чтобы декларативно определить структуру данных
Все ссылочные типы (строки, списки, вложенные структуры) хранят абсолютные или относительные смещения от начала буфера.
Данные, сериализованные через Cap'n Proto, по умолчанию неизменяемы, что упрощает доступ без блокировок.
Данные выровнены по размеру, что ускоряет доступ.
Все ссылочные типы (строки, списки, вложенные структуры) хранят абсолютные или относительные смещения от начала буфера.
(gRPC alternative)
FlatBuffers (MMO)
декларативно описываем структуру; генератор кода на основе этой схемы создаст методы для прямого доступа к байтам
для игр и приложений с высокими требованиями к производительности
(Unity integration)
Language Independent Data Definition Language - для декларативного описания схем,
которые затем компилируются для генерации классов на целевом языке.
всегда кодирует данные в порядке Little-Endian (малый порядок байтов),
что является стандартом для большинства современных процессоров (x86, ARM).
CBOR/CDDL (IETF).
стандарты, развиваемые IETF (Internet Engineering Task Force), часто используемые в IoT и CoAP.
RFC 8610, CDDL (Concise Data Definition Language)
язык для декларативного описания схем для данных
является стандартизированной заменой для систем вроде JSON Schema, но более лаконичной и мощной для бинарных форматов.
RFC 8949, CBOR (Concise Binary Object Representation) и CDDL (Concise Data Definition Language)
бинарный формат сериализации, предназначенный быть сверхкомпактным и быстрым
для кодирования структур данных, аналогичных JSON (массивы, карты, строки, целые числа).
декларативно определяет, как должны выглядеть типы (например, "Первый байт определяет тип и начальный размер").
Это декларация кодировки, а не схемы.
```
; Определение структуры данных "SensorReading"
SensorReading = {
"sensor_id" : uint,
"timestamp" : uint,
"data" : [ *SensorValue ] ; Массив SensorValue
}
SensorValue = {
"type" : "temp" .and string, ; строгий строковый литерал
"value" : float
}
```
MessagePack (binary JSON, no schema)
Bionf (nano-schema)
На таком фоне говорить о том, что "О ... применениях на латинице ничего не слышно" как-то странно.
Отредактировано Лис (2025-10-11 09:17:30)
