Дерево хешей

Двоичное хеш-дерево

Дерево хешей (дерево Меркла) — полное двоичное дерево, в листовые вершины которого помещены хеши от блоков данных, а внутренние вершины содержат хеши от сложения значений в дочерних вершинах. Корневой узел дерева содержит хеш от всего набора данных, то есть хеш-дерево является однонаправленной хеш-функцией. Применяется для эффективного хранения транзакций в блокчейне криптовалют (например, в Bitcoin, Ethereum). Оно позволяет получить «отпечаток» всех транзакций в блоке, а также эффективно верифицировать транзакции. Названо по имени Ральфа Меркла, предложившего в 1979 году соответствующую технику хеширования криптографических функций.

Построение

Пример хеш-дерева в биткойн-блоке

Заполнение значений в узлах дерева идёт снизу вверх. Сперва к каждому блоку данных применяется хеширование $\mathrm {Hash} _{00}=\operatorname {hash} (L_{1})$, $\mathrm {Hash} _{01}=\operatorname {hash} (L_{2})$ и так далее. Полученные значения записываются в листья дерева. Блоки, находящиеся уровнем выше, заполняются как хеши от суммы своих детей, $\mathrm {Hash} _{0}=\operatorname {hash} (\mathrm {Hash} _{00}+\mathrm {Hash} _{01})$, где $+$ обычно означает конкатенацию. Эта операция повторяется, пока не будет получено верхнее значение — $\mathrm {TopHash}$ или merkle_root.

В биткойне в качестве хеш-функции используется двойное SHA-256, то есть $\operatorname {hash} (x)=\operatorname {SHA256} (\operatorname {SHA256} (x))$. Впрочем, хеш-функция может быть любой, например Tiger Tree Hash (TTH), используемый в файлообменных P2P-сетях, является деревом Меркла с хеш-функцией Tiger.

Если количество блоков на каком-то уровне дерева оказывается нечётным, то один блок дублируется или переносится без изменений на следующий уровень, как это происходит при вычислении Tiger Tree Hash.

Эффективность

Доказательство существования в хеш-дереве

Хеш-деревья имеют преимущество перед хеш-цепочками или хеш-функциями. При использовании хеш-деревьев гораздо менее затратным является доказательство принадлежности определённого блока данных к множеству. Поскольку различными блоками часто являются независимые данные, такие как транзакции или части файлов, то нас интересует возможность проверить только один блок, не пересчитывая хеши для остальных узлов дерева. Пусть интересующий нас блок — это $L_{3}$ (см. рис.). Тогда доказательством его существования и валидности будут корневой хеш, а также верхние хеши других веток ($\mathrm {auth} _{L_{4}}=\mathrm {Hash} _{11}$ и $\mathrm {auth} _{L_{2}}=\mathrm {Hash} _{0}$). В данном случае проверка не пройдена, если $\mathrm {TopHash} \neq \operatorname {hash} {\big (}\mathrm {Hash} _{0}+\operatorname {hash} (\operatorname {hash} (L_{3})+\mathrm {Hash} _{11}){\big )}$.

В общем случае можно записать

$\operatorname {signature} (L)=(L\mid \mathrm {auth} _{L_{1}},\dots ,\mathrm {auth} _{L_{K-1}}),$

а проверку осуществить как $\mathrm {TopHash} =\mathrm {Hash} _{K}$, где

$\mathrm {Hash} _{k}={\begin{cases}\operatorname {hash} (L),&{\text{если }}k=1,\\\operatorname {hash} (\mathrm {Hash} _{k-1}+\mathrm {auth} _{L_{k-1}}),&{\text{если }}2\leqslant k\leqslant K.\end{cases}}$

Набор блоков $\{\mathrm {auth} _{L_{1}},\dots ,\mathrm {auth} _{L_{K-1}}\}$ называется аутентификационный путь или путь Меркла.

Видно, что проверку выше можно выполнить за $O(K)=O(\log _{2}N)$ действий, где $K$ — это высота дерева или длина аутентификационного пути, а $N$ — это количество блоков данных. Такая же проверка в случае хеш-цепочки имела бы сложность $O(N)$.

Таблица ниже демонстрирует, что даже при значительном количестве транзакций в блоке о сложности вычислений можно не беспокоиться.

Количество транзакций	Приблизительный размер блока	Размер пути (в хешах)	Размер пути (в байтах)
16	4 килобайта	4	128
512	128 килобайт	9	288
2048	512 килобайт	11	352
65535	16 мегабайт	16	512

Упрощенная проверка оплаты

Блок биткойна хранит только значение merkle_root своих транзакций. Это позволяет получить определённые преимущества и снизить нагрузку на сеть.

После накопления достаточного числа блоков можно удалять старые транзакции для экономии места. При этом сам блок остаётся неизменным, так как в нём хранится только merkle_root. Блок без транзакций занимает 80 Б, или 4,2 МБ в год (при генерации блока каждые 10 минут).

Становится возможной упрощённая проверка оплаты (англ. simplified payment verification). SPV-узел загружает не весь блок, а только заголовок блока. Для интересующей его транзакции он запрашивает также её аутентификационный путь. Таким образом он загружает всего несколько килобайт, тогда как полный размер блока может быть больше 10 мегабайт (см. таблицу). Использование этого метода, однако, требует, чтобы пользователь доверял узлу сети, у которого будет запрашивать заголовки блоков. Один из способов избежать атаки, то есть подмены узла недобросовестной стороной, — рассылать оповещения по всей сети при обнаружении ошибки в блоке, вынуждая пользователя загружать блок целиком.

На упрощённой проверке оплаты основана работа так называемых «тонких» биткойн-клиентов.

Дополнительно

Проблема обхода дерева Меркла

Дерево Меркла имеет также и недостатки, проявляющиеся при растущем количестве листьев. Как было показано ранее, для вычисления подписи произвольного блока $L$ нужно знать все значения из множества $\{\mathrm {auth} _{L_{i}}\}$. Это не вызывает проблем, если есть возможность хранить все внутренние вершины дерева в памяти, однако для больших деревьев (количество листьев может увеличиваться до $2^{40}$) это не подходит. Можно также каждый раз вычислять внутренние блоки заново, но это значительно понизит производительность такой системы. Поэтому возникает проблема эффективного обхода дерева и генерации подписей (англ. Merkle tree traversal problem). На сегодняшний день существуют решения, использующие $2\log _{2}(N)$ времени и $3\log _{2}(N)$ памяти, где $N$ — это количество листьев. Было также доказано, что не существует алгоритма обхода, который бы был одновременно лучше, чем $O(\log _{2}(N))$ и по времени, и по памяти.

См. также

• Подпись Меркла
• Двоичное дерево
• Tiger (хеш-функция)
• Magnet-ссылка
• URN

Ссылки

• Merkle Patricia Tree — улучшенная реализация дерева Меркла, использующаяся в Ethereum.
• Tiger Tree Torrent — предложение по замене SHA-1 на Tiger Tree Hash в .torrent-файлах.