Система працює добре на ранніх етапах. З малою кількістю даних будь-яка архітектура виглядає прийнятною. Справжнє випробування приходить не в перший день, а в момент, коли дані починають накопичуватися в експоненціальних обсягах.

Возьмемо додаток середньої складності: щоденно генерується 50-100KB даних про стан та поведінку. За рік? 18-36GB. Додайте похідні дані та резервні копії — фактичний обсяг подвоюється. Звучить як просто цифри, але проблема не в записуванні, а в тому, що ці дані ніколи не зупиняються. Вони постійно перечитуються, перевіряються, комбінуються один з одним. Коли посилання між ними заплутуються, складність усієї системи зростає експоненціально.

Це й є стартовою точкою розробки Walrus. Він не надіється, що дані коли-небудь перестануть рости, і не припускає, що об'єкти записуються лише один раз. Підхід Walrus простий: об'єкти даних отримують стійкий ідентифікатор під час створення, який ніколи не змінюється. Усі зміни записуються як еволюція стану одного й того самого об'єкта. На малих масштабах різниця непомітна, але з часом ці переваги дизайну проявляються все більше.

Подивіться на розкриті тестові дані: підтримка зберігання об'єктів розміром до MB, забезпечення доступності через багатовузлову повторюваність, загальна доступність в тестовій мережі стабільна понад 99%. Затримка при читанні залишається на рівні секунд, реальні додатки можуть звертатися безпосередньо, це не просто архівування холодних даних.

Найважливіше — це зміни на рівні додатків. Коли посилання між об'єктами перестають часто змінюватися, додатки можуть проводити глибоку оптимізацію навколо стабільних структур даних — те, що було складно реалізувати в традиційних моделях зберігання.