◎
Cookie3 · Big Data Silnik transakcji Solana
Wysokoprzepustowy silnik, który w czasie zbliżonym do rzeczywistego przetwarzał transakcje z największych zdecentralizowanych giełd (DEX) na Solanie i zamieniał je w użyteczne sygnały rynkowe.
W czym to robiłem
.NETRustClickHouseRabbitMQDocker
01
Co zrobiłem
- Zaprojektowałem i utrzymywałem potok przetwarzania transakcji on-chain pobieranych z węzłów Solany.
- Parsowałem i normalizowałem dane z różnych DEX-ów do spójnego modelu.
- Składowałem i agregowałem dane w ClickHouse pod analitykę dużej skali.
- Zadbałem o kolejkowanie i odporność na błędy dzięki RabbitMQ.
02
Czego się nauczyłem
- Projektowania systemów o wysokiej przepustowości i pracy w środowisku Big Data.
- Wzorców CQRS i Clean Architecture w praktyce, a nie tylko z teorii.
- Optymalizacji zapisu i zapytań w kolumnowej bazie ClickHouse.
03
Trudności
- Ogromny i nieregularny wolumen transakcji wymagał buforowania i mechanizmów backpressure.
- Każdy DEX zwracał dane w nieco innym formacie — sporo edge case'ów przy parsowaniu.
- Utrzymanie niskich opóźnień przy jednoczesnym zachowaniu kompletności danych.