왜 OCI와 A10 GPU인가.

인프라 선택은 피치덱에는 잘 안 들어가지만, 대부분의 제품 결정보다 매일의 실제 가능 범위를 더 많이 좌우합니다. 13개 플랫폼에서 지속적으로 수집하고 그 흐름에 대해 임베딩·스코어링 모델을 돌리는 건 순간적으로 몰리는 학습 작업이 아니라 꾸준한 추론(inference) 워크로드입니다. 이 구분이 하드웨어 결정의 대부분을 결정합니다.

Datriss는 파운데이션 모델을 처음부터 학습시키지 않습니다. 앞선 글들에서 다룬 XLM-RoBERTa 임베딩, LSTM 예측, XGBoost 스코어링은 전부 기존 아키텍처를 가져와 운영·파인튜닝하는 것이지, 아무것도 없는 상태에서 학습시키는 게 아닙니다. 이런 워크로드 특성은 NVIDIA A10과 잘 맞습니다. A10은 24GB GDDR6 메모리를 갖춘 추론 지향 GPU로, 정확히 이런 임베딩·분류 작업을 위해 만들어졌지, 파운데이션 모델 연구소가 필요로 할 만한 최상급 학습 하드웨어가 아닙니다.

실제 워크로드에 맞는 크기의 하드웨어를 고르는 건, 사과해야 할 한계가 아니라 의도한 트레이드오프입니다. 꾸준한 추론 파이프라인에 학습급 인프라를 과잉 투입하면 한 번도 안 쓰는 성능에 비용을 지불하는 셈이 됩니다. OCI는 이게 돌아가는 운영 레이어입니다. 이름이 뭔지보다, 18개월 넘는 지속 운영 동안 계속 살아있고 안정적이었다는 게 더 중요한 부분입니다.

이게 영구적인 결정이라는 뜻은 아닙니다. 추론 워크로드가 바뀌면 — 실시간 스코어링이 늘거나, 모델이 커지거나, 지연 시간 요구사항이 달라지면 — 이 선택 뒤의 계산도 다시 해야 합니다. 이건 지금 파이프라인에 맞는 선택을 반영한 것이지, 인프라가 영원히 이래야 한다는 고정된 믿음이 아닙니다.