Данные о ликвидациях на криптобиржах: что измеряет событие · 4 / 5
Удалите доказанный повтор, сохранив реальные наблюдения ликвидаций
Переподключение или перезапуск задания может дважды увеличить график из-за одного сохранённого наблюдения. Удаление всех строк с одинаковыми временем, стороной, размером и ценой не решает проблему полностью: разные события могут иметь одинаковые поля. Нужно определить, какое дублирование действительно доказывает происхождение данных. Локальный повтор и идентичность события поставщика — разные задачи.
Athenum8 минОбновлено:
ID хранилища, ID события поставщика и отпечаток содержимого
Идентификатор транспорта или хранилища может установить, что система дважды обработала одно сохранённое сообщение. Идентификатор события поставщика может установить, что две доставки относятся к одному событию, если документированные область и стабильность это допускают. Отпечаток обычных полей доказывает лишь совпадение значений. Он не становится автоматически идентификатором события.
Цитируемые публичные схемы ликвидаций не предоставляют для каждого наблюдения общего идентификатора счёта или стабильного уникального исполнения. Не изобретайте его из ID запроса подписки или времени. Записывайте уверенность в правиле дедупликации, сохраняйте исходные данные и отделяйте удалённые локальные повторы от нерешённых совпадений полей поставщика.
Исходный итог, исправления и нерешённые случаи в отчёте
Для исследовательского итога храните исходное число обработок, доказанный повторный объём, исправленную локальную сумму и нерешённые случаи. Если эвристика меняет итог, укажите правило и эффект. Аккуратное число не становится надёжнее от скрытой неопределённости. Поздние обновления, накопленные состояния ордера и исправления источника требуют своих определений; их нельзя одинаково считать повторными копиями.
Пример: 20 обработанных единиц становятся 15 после одного повтора
В вымышленном архиве раздел и смещение вместе определяют неизменяемое сохранённое сообщение. P0:41 содержит строки размеров 2 и 3; обработчик читает это сообщение дважды. P0:42 содержит одну строку размера 5. P0:43 — другую строку размера 5 с теми же публичными полями, но без идентификатора события поставщика. Последние сообщения сохранены как отдельные наблюдения. В примере все количества являются новыми приращениями в одной базовой единице.
Наивная обработка суммирует 5 + 5 + 5 + 5 = 20. Повторное чтение P0:41 доказано локальной идентичностью, поэтому убираем второй вклад пяти единиц: локальный итог равен 15. Совпадение P0:42 и P0:43 не устанавливает, доставлено одно событие дважды или два разных события. Если это одно событие, фактическое количество в журнале равно 10; если разные — 15. Альтернативы относятся только к закрытому вымышленному журналу, а не ограничивают весь рынок.
| Проход | Сохранённое сообщение | Количество | Действие по доказательствам |
|---|---|---|---|
| 1 | P0:41 | 2 + 3 = 5 | Сохранить первую локальную обработку |
| 2 | P0:41 | 2 + 3 = 5 | Удалить доказанный повтор |
| 3 | P0:42 | 5 | Сохранить; идентичность у поставщика не установлена |
| 4 | P0:43 | 5 | Сохранить; равенство полей не доказывает идентичность |
Увеличить схему- Наивный итог обработки: 20 ед. базового актива
- Доказанный повторный вклад: 5 ед. базового актива
- Каждое сообщение посчитано один раз: 15 ед. базового актива
- Если равные строки — одно событие: 10 ед. базового актива
Ошибка: смещение в архиве или хеш содержимого принят за ID события
Два разных смещения доказывают наличие двух сохранённых записей, но не двух уникальных биржевых событий. И наоборот, хеш содержимого может объединить разные события с совпавшими публичными полями. Сохраняйте контекст для обоих ограничений. Если независимые данные позже разрешат совпадение, внесите датированное исправление, а не молча меняйте исторические данные исследования.
Перед решением
- Различайте архивную идентичность и идентичность события поставщика.
- Удаляйте только повторы, установленные выбранными доказательствами.
- Сохраняйте исходные поля и правило исправления.
- Оставляйте совпадающие наблюдения нерешёнными без идентичности.
- Показывайте исходный итог, исправление и оставшуюся неопределённость.
Проверьте понимание
Надёжная последующая сверка поставщика подтверждает, что P0:42 и P0:43 описывают одно событие. Каков окончательный объём журнала и насколько исходные 20 единиц были завышены?
Показать ответ с объяснением
Окончательный объём — 10: пять из P0:41 и пять из единственного позднего события. Исходный итог превышал исправленный на 10 единиц, то есть на 100% исправленной суммы 10. Это разрешает только вымышленный журнал, но не доказывает полноту биржевого покрытия.
Источники и дополнительное чтение
Продолжить с Athenum
Из блога Athenum
Данные о ликвидациях в крипто: почему заявленная цифра это нижняя граница, а не сумма
Похожие уроки
- Сверить уникальные исполнения при повторных статусах ордера
Рассчитайте остаток позиции и комиссии по логу исполнений. Обрабатывайте повторную доставку и гонки отмен без двойного учёта одной сделки.
- Опережение orderflow: согласуйте время события и получения
Опережение в 100 мс по времени биржи может стать отставанием в 180 мс при получении. Воспроизводите ленту по времени приёма, не смешивая часы.