모든 데이터를 매 순간 다시 수집하는 건 불가능하고, 불필요합니다. 가격은 자주 바뀌지만 상품명은 거의 안 바뀝니다. 같은 주기로 긁으면 자원을 낭비하거나 신선도를 놓칩니다.
그래서 필드마다 갱신 주기를 다르게 둡니다. 가격·재고는 짧게, 리뷰·카테고리는 길게. 변화가 큰 신호일수록 자주 봅니다.
신선도는 정확도의 전제입니다. 어제 가격으로 오늘 마진을 계산하면, 모델이 아무리 좋아도 답이 틀립니다. 데이터에 ‘언제 수집됐는지’를 함께 기록하는 이유입니다.
참고 자료
- J. Cho & H. Garcia-Molina, Synchronizing a Database to Improve Freshness, ACM SIGMOD 2000 — 수집 데이터를 최신으로 유지하는 갱신 정책.