Данные о ликвидациях: проверьте, что измеряет событие · 4 / 5
Удалите доказанный повтор, сохранив реальные наблюдения ликвидаций
Переподключение или перезапуск задания может дважды увеличить график из-за одного сохранённого наблюдения. Удаление всех строк с одинаковыми временем, стороной, размером и ценой не решает проблему полностью: разные события могут иметь одинаковые поля. Нужно определить, какое дублирование действительно доказывает происхождение данных. Локальный повтор и идентичность события поставщика — разные задачи.
Athenum8 минОбновлено:
Различайте три вида идентичности
Идентификатор транспорта или хранилища может установить, что система дважды обработала одно сохранённое сообщение. Идентификатор события поставщика может установить, что две доставки относятся к одному событию, если документированные область и стабильность это допускают. Отпечаток обычных полей доказывает лишь совпадение значений. Он не становится автоматически идентификатором события.
Цитируемые публичные схемы ликвидаций не предоставляют для каждого наблюдения общего идентификатора счёта или стабильного уникального исполнения. Не изобретайте его из ID запроса подписки или времени. Записывайте уверенность в правиле дедупликации, сохраняйте исходные входы и отделяйте удалённые локальные повторы от нерешённых совпадений полей поставщика.
Сохраняйте историю исправлений
Для исследовательского итога храните исходное число обработок, доказанный повторный объём, исправленную локальную сумму и нерешённые случаи. Если эвристика меняет итог, укажите правило и эффект. Аккуратное число не становится надёжнее от скрытой неопределённости. Поздние обновления, накопленные состояния ордера и исправления источника требуют своих определений; их нельзя одинаково считать повторными копиями.
Двадцать обработанных единиц превращаются в пятнадцать после доказанного повтора
В вымышленном архиве раздел и смещение вместе определяют неизменяемое сохранённое сообщение. P0:41 содержит строки размеров 2 и 3; обработчик читает это сообщение дважды. P0:42 содержит одну строку размера 5. P0:43 — другую строку размера 5 с теми же публичными полями, но без идентификатора события поставщика. Последние сообщения сохранены как отдельные наблюдения. В примере все количества являются новыми приращениями в одной базовой единице.
Наивная обработка суммирует 5 + 5 + 5 + 5 = 20. Повторное чтение P0:41 доказано локальной идентичностью, поэтому убираем второй вклад пяти единиц: локальный итог равен 15. Совпадение P0:42 и P0:43 не устанавливает, доставлено одно событие дважды или два разных события. Если это одно событие, фактическое количество в журнале равно 10; если разные — 15. Альтернативы относятся только к закрытому вымышленному журналу, а не ограничивают весь рынок.
| Проход | Сохранённое сообщение | Количество | Действие по доказательствам |
|---|---|---|---|
| 1 | P0:41 | 2 + 3 = 5 | Сохранить первую локальную обработку |
| 2 | P0:41 | 2 + 3 = 5 | Удалить доказанный повтор |
| 3 | P0:42 | 5 | Сохранить; идентичность у поставщика не установлена |
| 4 | P0:43 | 5 | Сохранить; равенство полей не доказывает идентичность |
Увеличить схему- Наивный итог обработки: 20 базовые единицы
- Доказанный повторный вклад: 5 базовые единицы
- Каждое сообщение посчитано один раз: 15 базовые единицы
- Если равные строки — одно событие: 10 базовые единицы
Локальное смещение доказывает только локальную идентичность
Два разных смещения доказывают наличие двух сохранённых записей, но не двух уникальных биржевых событий. И наоборот, хеш содержимого может объединить разные события с совпавшими публичными полями. Сохраняйте контекст для обоих ограничений. Если независимые данные позже разрешат совпадение, внесите датированное исправление, а не молча меняйте исторические входы исследования.
Перед решением
- Различайте архивную идентичность и идентичность события поставщика.
- Удаляйте только повторы, установленные выбранными доказательствами.
- Сохраняйте исходные поля и правило исправления.
- Оставляйте совпадающие наблюдения нерешёнными без идентичности.
- Показывайте исходный итог, исправление и оставшуюся неопределённость.
Проверьте понимание
Надёжная последующая сверка поставщика подтверждает, что P0:42 и P0:43 описывают одно событие. Каков окончательный объём журнала и насколько исходные 20 единиц были завышены?
Показать ответ с объяснением
Окончательный объём — 10: пять из P0:41 и пять из единственного позднего события. Исходный итог превышал исправленный на 10 единиц, то есть на 100% исправленной суммы 10. Это разрешает только вымышленный журнал, но не доказывает полноту биржевого покрытия.