DDATRISS Company ↗
← 기술 블로그 전체보기 28 · DATA FRESHNESS

데이터는 언제 다시 수집해야 하나.

모든 데이터를 매 순간 다시 수집하는 건 불가능하고, 불필요합니다. 가격은 자주 바뀌지만 상품명은 거의 안 바뀝니다. 같은 주기로 긁으면 자원을 낭비하거나 신선도를 놓칩니다.

그래서 필드마다 갱신 주기를 다르게 둡니다. 가격·재고는 짧게, 리뷰·카테고리는 길게. 변화가 큰 신호일수록 자주 봅니다.

신선도는 정확도의 전제입니다. 어제 가격으로 오늘 마진을 계산하면, 모델이 아무리 좋아도 답이 틀립니다. 데이터에 ‘언제 수집됐는지’를 함께 기록하는 이유입니다.

참고 자료
  • J. Cho & H. Garcia-Molina, Synchronizing a Database to Improve Freshness, ACM SIGMOD 2000 — 수집 데이터를 최신으로 유지하는 갱신 정책.
이전 글둘이 같은 상품인지, 2억 번 묻기.

글 내용이나 데이터에 대한 문의는 이메일로 보내주세요.

datrissdev@gmail.com ↗

실제 리포트에서는
어떻게 보일까요?

실제 FounderBrief 리포트 발췌본을 확인해보세요.