엔터프라이즈 AI 데이터 인프라는 파이프라인, 스토어, 인덱스, 거버넌스 제어의 체계로, 단편화된 운영 데이터를 AI 시스템이 신뢰하고 질의할 수 있는 기반(신선하고, 일관되며, 권한이 부여되고, 관계를 인식하는 데이터)으로 바꾸는 것입니다. 모델이 점점 더 강력해지면서 엔터프라이즈 AI의 제약 요인은 모델 품질에서 데이터 기반의 품질로 이동하고 있습니다. AI 시스템의 신뢰성은 의존하는 인덱스의 신선도와 접근 제어의 무결성 수준과 같습니다.
이 글은 엔터프라이즈 슈퍼인텔리전스 아키텍처 설계도의 Enterprise Data & Knowledge 레이어에 대한 기술 심층 분석입니다. 이전 글은 6계층 참조 모델을 정의했고, 이 글은 데이터 레이어가 실제로 어떻게 구축되는지를 다룹니다. 운영 시스템이 어떻게 벡터 스토어와 지식 그래프에 거의 실시간으로 데이터를 공급하는지, 접근 권한이 파생 인덱스로 어떻게 전파되는지, 파이프라인이 실패했을 때 어떻게 복구하는지입니다. 처음에 한 가지를 분명히 하자면, “SI-ready”는 아키텍처적 지향점(점점 강력해지는 AI를 흡수하도록 설계된 인프라)이지, 확립된 기술 표준이나 슈퍼인텔리전스가 존재한다는 증거가 아닙니다.
핵심 요약
- SI-ready 데이터 인프라는 아키텍처적 지향점(점점 강력해지는 AI에 대비해 통제되고 신선하며 상호운용 가능한 데이터)이지, 인증된 표준이나 ASI가 존재한다는 증거가 아닙니다.
- 전통적인 데이터 아키텍처와 AI-ready 인프라의 격차는 운영적입니다. 신선도, 권한 전파, 관계 모델링이지 스토리지 용량이 아닙니다.
- 벡터 스토어와 지식 그래프는 서로 다른 검색 문제를 풉니다. 대부분의 기업은 단일 통제 검색 인터페이스 뒤에 둘 다 필요합니다.
- CDC는 AI 지향 파이프라인의 기본 골격입니다. 오래된 인덱스는 하류의 모든 AI 시스템을 조용히 저하시킵니다.
- 점진적으로 구축합니다. 하나의 데이터 도메인, 표준화된 인제스천, 검증된 신선도와 접근 제어, 그 다음 확장입니다.
SI-Ready 데이터 인프라란 무엇인가
AI-ready 데이터 인프라는 AI 워크로드를 일급 소비자로(분석가와 대시보드만이 아니라) 구축된 인프라입니다. “SI-ready”는 여기에 계획 지평을 더합니다. 같은 엔지니어링이지만, 위쪽 모델의 능력 도약을 재설계 없이 흡수할 여유를 갖춘 것입니다. 이를 정의하는 네 가지 속성이 있습니다.
- 신선도(Freshness). 파생 인덱스는 소스가 바뀌면 갱신됩니다. 핫 도메인에서는 하룻밤이 아니라 수 분 내로. 인덱스는 복사본이고, 복사본은 낡습니다.
- 상호운용성(Interoperability). 하나의 인제스천 기반이 레이크하우스, 벡터 스토어, 지식 그래프에 공급합니다. 유스케이스별 맞춤 파이프라인이 아닙니다.
- 발견 가능성(Discoverability). 메타데이터 카탈로그가 데이터셋을 찾을 수 있게 하고 소스 행에서 인덱싱된 청크까지 리니지를 유지합니다.
- 통제된 접근(Governed access). 소스 권한은 임베딩을 포함한 모든 파생 복사본으로 전파됩니다. 임베딩은 법적·실무적으로 텍스트의 복사본입니다.
SI-Ready vs AI-Ready: 실무적 구분
| 관점 | 전통적 | AI-ready | SI-ready 지향점 |
|---|---|---|---|
| 주요 소비자 | 리포트와 대시보드 | ML 모델, RAG 애플리케이션 | 더 자율적인 에이전트, 미래의 더 강력한 모델 |
| 신선도 기대치 | 일별 배치 허용 | 핫 도메인에서 거의 실시간 | 도메인별 명시적 신선도 SLO |
| 접근 제어 | 시스템별, 수동 대사 | 인덱스로 전파 | 검색 시점에 강제, 회수는 감사됨 |
| 데이터 모델 | 테이블과 파일 | 테이블 + 임베딩 | + 명시적 관계와 시맨틱 레이어 |
솔직한 유의점: 오른쪽 열의 어떤 속성도 슈퍼인텔리전스에 필요하다고 증명된 것은 아닙니다. 그 능력은 존재하지 않습니다. 이 방향이 옹호 가능한 이유는, 나중에 무엇이 오든 모든 속성이 오늘날의 AI 시스템에 보답하기 때문입니다.
전통적인 엔터프라이즈 데이터 아키텍처가 AI에 실패하는 이유
엔터프라이즈 데이터 자산은 다른 소비자를 위해 만들어졌습니다. AI가 일급 워크로드가 되면 다섯 가지 실패 패턴이 반복적으로 나타납니다.
- 분석적 신선도는 운영적 신선도가 아니다. 야간 ETL은 “어제 시점으로 정확한” 웨어하우스를 만듭니다. 월요일 대시보드에는 좋지만, 오후 3시에 운영 질문에 답하는 AI 어시스턴트에게는 틀립니다.
- 권한이 전파되지 않는다. 소스 시스템은 행·객체 수준 ACL을 갖지만, 임베딩을 포함한 파생 복사본은 보통 아무것도 상속받지 않습니다. 결과적으로 요청자가 볼 권한이 없는 콘텐츠를 가져올 수 있는 AI 시스템이 생깁니다.
- 관계가 암묵적이다. 관계형 스토어는 엔터티를 기록합니다. 중요한 관계들은 순회를 위해 설계된 적 없는 외래 키, 또는 사람들의 머릿속에 있습니다.
- 소비자당 하나의 파이프라인. 새로운 AI 유스케이스마다 별도의 추출이 만들어지고, 같은 데이터의 각 복사본이 조용히 서로 갈라집니다.
- 신선도 계약이 없다. 특정 인덱스가 얼마나 오래됐는지 아무도 말할 수 없으므로, 그 위에 만들어진 답변을 완전히 신뢰할 수 없습니다.
이것들은 평가 문제가 아니라 구현상의 실패입니다. 데이터 자산이 준비됐는지 여부는 별개의 문제이며, AI 데이터 레디니스 가이드가 평가 측면을 다룹니다. 이 글은 평가가 끝났다고 가정하고 다음에 무엇을 만드는지를 다룹니다.
엔터프라이즈 AI 데이터 인프라의 핵심 컴포넌트
스토리지 골격
골격은 레이크하우스(오브젝트 스토리지 위의 오픈 테이블 포맷)에 통제된 마트용 웨어하우스를 보완한 것입니다. 데이터는 원시 상태로 유입되어 검증·정제된 후 도메인 모델로 정형화됩니다. AI에 대한 결정적 속성은 용량이 아니라 복구 가능성입니다. 골격은 모든 파생 스토어를 재구축할 수 있는 정준 상태입니다. 인덱스가 손상되거나 임베딩 모델이 교체될 때, 골격은 복구를 구출 작전이 아닌 리플레이로 바꿉니다.
검색 플레인
세 개의 파생 스토어가 서로 다른 질의 형태에 답합니다.
- 벡터 스토어. 비정형 콘텐츠에 대한 의미 검색을 위한 임베딩 + 청크 참조.
- 지식 그래프. 순회와 다단 질의를 위한 엔터티와 유형 있는 관계.
- 검색 인덱스. 키워드·메타데이터 검색. 정확한 식별자와 구조화된 필터에는 여전히 적합한 도구.
이 플레인을 건강하게 유지하는 설계 규칙: 파생 스토어는 일회용입니다. 정준 데이터 소스로 승격시키지 않고, 재계산 불가능한 상태를 축적하지 않고, 변경 피드를 우회하는 쓰기를 받지 않습니다.
시맨틱 및 거버넌스 플레인
스토리지와 검색 위에는 시스템을 일관되게 만드는 레이어가 있습니다. 비즈니스 정의와 지표 로직을 담는 시맨틱 레이어, 발견과 리니지를 위한 메타데이터 카탈로그, 그리고 통제된 검색 인터페이스(AI 애플리케이션이 질의하는 유일한 API)입니다. 이 인터페이스는 호출자를 인증하고, 권한 필터를 적용하고, 신선도 제약을 강제하고, 모든 접근을 기록합니다. 인터페이스가 유일한 문이라는 점, 그것이 바로 거버넌스를 염원이 아니라 집행 가능하게 만드는 이유입니다.
벡터 데이터베이스 vs 지식 그래프: 언제 무엇을 쓸까
이 두 스토어는 경쟁이 아니라 상호보완입니다. 혼란이 생기는 이유는 둘 다 “AI를 위한 메모리 레이어”로 판매되기 때문이지만, 답하는 질문이 다릅니다.
| 관점 | 벡터 데이터베이스 | 지식 그래프 |
|---|---|---|
| 저장하는 것 | 콘텐츠 청크의 임베딩과 소스 문서 참조 | 엔터티와 유형 있는 관계(엣지) |
| 질의 형태 | 의미적 유사성——“이것과 비슷한 것을 찾아줘” | 순회——“이것들이 어떻게 연결되어 있나” |
| 강점 | 비정형 텍스트, 모호한 의미 매칭, 대규모 ANN 검색 | 다단 추론, 설명 가능한 경로, 안정된 엔터티 동일성 |
| 약점 | 명시적 관계 없음, 결과가 불투명, 모델 변경 시 임베딩 드리프트 | 초기 모델링 비용, 동기화가 어려움, 희소한 그래프는 성능 저하 |
| 갱신 방식 | 소스 변경 시 재청킹·재임베딩, 삭제는 툼스톤으로 전파 | 엣지 증분 업서트, 큰 토폴로지 변경은 이벤트에서 리플레이 |
| 대표적 기업 용도 | 정책, 티켓, 문서, 지식 베이스 | 공급망, 조직 구조, 데이터 리니지, 의존성 맵 |
“관련 콘텐츠를 찾아줘”가 질문이면 벡터 스토어를 선택합니다. 가장 흔한 기업 케이스이며 벡터 인덱스가 먼저 도입되는 이유입니다. “관계를 따라가줘”가 질문이면 그래프를 선택합니다. 의존 영향, 조직상의 책임, 출처의 연쇄입니다. 실제 질문의 많은 부분은 둘 다입니다. “이 공급업체와 관련된 인시던트를 찾아줘”는 인시던트를 찾는 의미 검색과 어떤 관계가 “관련된”에 해당하는지 확정하는 그래프 순회 둘 다 필요합니다.
이 교차점에서 작동하는 것이 GraphRAG 같은 하이브리드 패턴입니다. 벡터 검색이 초기 후보 집합을 만들고, 그래프 순회가 이를 확장해 결과를 설명 가능하게 합니다. GraphRAG 개발자 가이드는 구현 패턴 하나를 설명합니다. 기술 레퍼런스로 다루되, 특정 벤더가 모든 기업에 맞는다는 주장은 아닙니다. 경계 주석으로, 어떤 스토어에 질의할지를 결정하는 오케스트레이션 로직은 이 글의 스코프 한 단계 위 레이어에 있습니다. 그 검색·애플리케이션 레이어는 에이전틱 RAG 아키텍처 가이드가 다룹니다.
AI용 실시간 데이터 파이프라인 설계
신선도는 스토리지가 아니라 파이프라인의 속성입니다. 오래된 채로 도착한 데이터를 벡터 스토어나 그래프 엔진이 보완할 수는 없습니다. 즉 인제스천 설계가 하류의 모든 것을 결정합니다.
배치 vs CDC vs 이벤트 스트리밍
| 패턴 | 일반적 지연 | 소스 부하 | 순서와 중복 제거 | 최적 용도 |
|---|---|---|---|---|
| 예약 배치(ETL/ELT) | 시간 | 주기적 대량 읽기 | 단순 | 콜드·참조 데이터, 초기 백필 |
| CDC(Change Data Capture) | 수 초~수 분 | 낮음——커밋 로그 읽기 | 키별 순서 | 시스템 오브 레코드: ERP, CRM, 핵심 DB |
| 이벤트 스트리밍 | 서브초~수 초 | 발행 후 없음 | 파티션 순서, at-least-once | 이벤트 발행 도메인, 텔레메트리, 활동 |
CDC는 시스템 오브 레코드에서 AI 지향 동기화의 기본 골격입니다. 로그 기반 캡처는 데이터베이스의 커밋 로그를 읽고 애플리케이션 코드를 수정하지 않고 삽입·갱신·그리고 결정적으로 삭제를 수집하며, 순진한 폴링이 완전히 놓치는 삭제 의미를 운반합니다. 이벤트 스트리밍은 이미 비즈니스 이벤트를 발행하는 도메인에 적합하고, 배치는 초기 로드와 콜드 데이터를 계속 담당합니다. 스트림 처리 메커니즘(윈도우 처리, 스테이트풀 조인, 전달 보장)은 Apache Kafka 스트림 처리 문서가 견실한 기술 레퍼런스입니다.
증분 인덱싱과 임베딩 갱신
벡터 인덱스의 갱신 루프: 변경 이벤트가 도착하면 대상 문서를 가져와 재청킹하고, 바뀐 청크만 재임베딩하여 안정된 문서 ID로 업서트합니다. 이를 정직하게 유지하는 규칙이 두 가지 있습니다. 첫째, 삭제는 툼스톤으로 전파해야 합니다. 소스에서 삭제된 문서가 동일한 지연 윈도우 안에 인덱스를 떠나지 않으면 오래된 벡터를 통해 접근이 새어 나갑니다. 둘째, 모든 벡터에 임베딩 모델 버전을 저장해 모델 업그레이드를, 신선도를 며칠씩 얼리는 전체 인덱스 재구축이 아닌 단계적 재임베딩으로 배포합니다.
지식 그래프 동기화
여기서 어려운 문제는 엔터티 해결입니다. 세 시스템에 “Acme Corp”, “ACME Corporation”, ID 4471로 나타나는 같은 공급업체는 엣지가 의미를 갖기 전에 정준 동일성이 필요합니다. 인제스천 시점에 엔터티를 해결하고, 엣지를 증분 업서트하고, 관계 유형을 버전 관리하고, 토폴로지 변경이 크면 테이블과 그래프 상태를 차분 비교하려 하지 말고 이벤트를 리플레이합니다.
정준 데이터 소스 일관성
도메인별·엔터티별 쓰기 주체는 하나입니다. 레이크하우스가 정준 상태를 보유하고, 파생 스토어는 설계상 결과 일관성 레플리카입니다. 이 모델의 장애는 종종 조용합니다. 발행을 멈춘 커넥터는 조용한 시스템과 완전히 똑같아 보이므로, 대사 작업이 시간 윈도우별 레코드 수와 체크섬을 비교해 이탈을 조기에 감지합니다. “충분히 새로운”을 감각이 아니라 숫자로 만들기 위해 도메인별 지연 예산을 공개합니다.
재시도, 리플레이, 데드레터 큐
- 멱등 컨슈머. 안정된 ID로 키가 지정된 업서트는 재처리를 안전하게 하고 모든 재시도 전략의 기반입니다.
- 백오프 재시도. 일시적 장애(임베딩 API 레이트 리밋, 네트워크 장애)는 에스컬레이션 전에 지수 백오프로 재시도합니다.
- 데드레터 큐. 포이즌 메시지는 알림이 있는 DLQ로. 조용한 유실보다 시끄러운 실패가 낫습니다.
- 리플레이 능력. 원시 이벤트와 오프셋을 보유해 소스 시스템을 건드리지 않고 파생 스토어를 재구축할 수 있게 합니다. 파생 스토어를 안전하게 일회용으로 만드는 속성입니다.
신선도와 인덱싱 지연 모니터링
엔드투엔드 지연(소스 커밋부터 인덱스에서 검색 가능해질 때까지), 단계별 지연, 재시도율, DLQ 깊이, 임베딩 커버리지(현행 모델 버전의 인덱싱된 문서 비율)를 추적합니다. 지연이 도메인 SLO를 위반하면 알립니다. 죽은 파이프라인은 감지하기 쉽지만, 살아있으면서 11시간 뒤처진 파이프라인이야말로 AI 시스템에 실질적 피해를 주는 장애 형태입니다.
참조 아키텍처: 엔터프라이즈 데이터를 AI 시스템에 연결하기
아래 다이어그램은 운영 소스부터 통제된 AI 소비까지, 컴포넌트를 작동하는 참조 플로우로 조립한 것입니다.
왼쪽에서 오른쪽으로 읽습니다.
- 소스. ERP, CRM, 문서 관리, SaaS 애플리케이션, 기존 웨어하우스.
- 인제스천과 변경 캡처. 시스템 오브 레코드의 CDC 커넥터, 도메인이 발행하는 이벤트 스트림, 백필과 콜드 데이터용 배치 로더.
- 스트림 처리. 검증, 인리치먼트, PII 분류, 청킹, 엔터티 해결. 원시 변경이 AI 소비 가능한 레코드가 되는 단계.
- 레이크하우스. 원시·정제·정형화된 존이 정준 상태를 보유. 엔터티별 쓰기 주체는 하나.
- 파생 스토어. 리로드가 아니라 동일한 변경 피드에서 증분 갱신되는 벡터 인덱스와 지식 그래프.
- 거버넌스 플레인. 카탈로그, 리니지, 접근 정책이 모든 단계를 관통해 적용됩니다. 후속 추가물이 아닌 교차 레이어.
- 통제된 검색 인터페이스. AI 애플리케이션의 유일한 문. 호출자를 인증하고, 권한 필터를 적용하고, 민감 도메인에 지연 예산을 강제하고, 모든 질의를 기록합니다.
이 아키텍처에는 세 개의 동기화 경로가 지나며, 정직하게 이름 붙이는 것이 중요합니다.
- 핫 패스: 소스 → CDC → 스트림 → 파생 스토어. 수 초~수 분. 오래됨이 판단을 오염시키는 도메인용.
- 웜 패스: 스트림 → 레이크하우스. 수 분. 정준 상태를 최신으로 유지.
- 콜드 패스: 배치 → 레이크하우스 → 파생 스토어 백필. 시간. 참조 데이터와 재구축용.
일관성 경계: 파생 스토어는 결과 일관성이며, 정확함은 리플레이 + 대사에서 옵니다. 지연 제로인 척하는 것이 아닙니다. 검색 인터페이스가 “얼마나 오래되면 너무 오래된 것인가”를 도메인별로 강제하는 곳입니다. 그래서 통제 지점은 인덱스가 아니라 인터페이스입니다.
단편화된 엔터프라이즈 데이터 위에 AI 시스템을 구축하고 계신가요? 신뢰할 수 있는 데이터 기반에는 데이터베이스를 연결하는 것 이상이 필요합니다. 실시간 인제스천과 지식 동기화부터 통제된 검색까지, HDWEBSOFT는 엔터프라이즈 시스템과 최신 AI 애플리케이션을 잇는 엔지니어링 솔루션 설계를 돕습니다.
데이터 거버넌스, 리니지, 접근 제어
이 레이어의 거버넌스는 정책 문서가 아니라 구현 제어의 집합입니다.
- 소유와 등록. 모든 도메인에는 지명된 소유자가 있고, 골격에 들어오는 모든 데이터셋은 신선도 SLO와 함께 카탈로그에 등록됩니다.
- 권한 전파. 소스 ACL은 콘텐츠와 함께 인덱스 메타데이터로 운반되고, 검색 시점 필터가 결과를 반환하기 전에 적용합니다. 임베딩은 텍스트의 복사본이므로 동등하게 민감하게 취급합니다.
- PII 처리. 분류는 스트림 처리 내부의 인제스천 시점에 이뤄져, 콘텐츠가 임베딩되기 전에 마스킹이나 제외가 적용됩니다.
- 리니지. 어떤 소스 행이 어떤 청크와 임베딩을 만들었는지 포착합니다. OpenLineage 문서가 설명하는 것 같은 오픈 이벤트 모델은, 나중에 재구성하는 대신 파이프라인 작업이 리니지를 일관되게 발행할 수 있게 합니다.
- 회수. 접근 회수는 데이터처럼 전파됩니다. 삭제·갱신 이벤트와 주기적 ACL 동기화이며, 가정이 아니라 훈련으로 검증합니다.
- 감사. 통제 인터페이스를 통한 모든 검색이 호출자 신원, 적용된 필터, 코퍼스 버전과 함께 기록됩니다.
- 거버넌스로서의 신선도. AI 답변이 의사결정을 움직이는 순간, 오래된 데이터는 컴플라이언스 리스크입니다. 지연 모니터링은 ops 보드뿐 아니라 거버넌스 대시보드에 속합니다.
실무적 구현 로드맵
작동하는 순서는 의도적으로 화려하지 않습니다. 한 번에 한 도메인입니다.
- 가치 높은 도메인을 하나 고른다. 지원 지식 베이스, 제품 카탈로그, 또는 단일 운영 시스템. 보이는 성과가 있는 제한된 범위입니다.
- 그 인제스천을 표준화한다. 소스가 지원하면 CDC. 이 파이프라인 패턴이 이후 모든 것의 템플릿이 됩니다.
- 그 도메인의 검색 플레인을 세운다. 벡터 인덱스부터. 관계 질의가 정말로 정당화될 때만 그래프를 추가합니다.
- 확장 전에 검증한다. 실제 트래픽으로 측정한 신선도 SLO, 회수 훈련으로 입증한 권한 전파, 엔드투엔드로 포착한 리니지.
- 같은 기반을 통해 확장한다. 인접 도메인은 기존 인제스천 패턴에 합류합니다. 두 번째 맞춤 파이프라인은 절대 만들지 않습니다.
각 단계를 견인하는 성공 지표:
| 지표 | 건강한 신호 |
|---|---|
| 엔드투엔드 신선도 지연 | 도메인 SLO 이내——핫 도메인에서 5분 미만 |
| 권한 전파 지연 | 회수가 수 분 내 유효, 훈련으로 검증됨 |
| 인덱스 커버리지 | 범위 내 문서의 약 100%가 현행 임베딩 버전 |
| 파이프라인 신뢰성 | 일시 장애 자동 복구, DLQ 깊이 거의 0 |
| 하류 검색 품질 | 애플리케이션 레이어 소관——이 글의 범위 밖 |
결론
엔터프라이즈 AI에서 지속되는 자산은 모델이 아니라 그 아래의 데이터 기반입니다. 이 인프라의 수명 동안 모델은 여러 번 교체되지만, 남는 것은 인제스천 기반, 파생 스토어, 거버넌스 플레인입니다. 그것이 “SI-ready”를 투기적 베팅이 아니라 옹호 가능한 자세로 만드는 이유입니다. 여기서 설명한 모든 속성(신선도, 권한 전파, 리니지, 리플레이 가능한 파이프라인)은 5년 뒤에 무엇이 오든 오늘 운영하는 AI에 보답합니다.
실무적인 길은 점진적입니다. 한 도메인, 한 파이프라인 패턴, 검증된 제어, 그리고 확장. AI를 하나도 프로덕션에 올리기 전에 전체 기반을 다 만들려는 기업은 보통 아무것도 프로덕션에 올리지 못합니다. HDWEBSOFT의 AI 개발 서비스는 바로 이 교차점을 다룹니다. 데이터 엔지니어링, 시스템 통합, AI 애플리케이션 딜리버리입니다. AI 로드맵을 위한 데이터 기반을 설계하고 있다면 저희 팀에 문의해 기술 상담을 받아보세요.
자주 묻는 질문
SI-ready 데이터 인프라란 무엇인가요?
SI-ready 데이터 인프라는 아키텍처적 지향점으로, 점점 더 강력해지는 AI 시스템을 수용하도록 설계된 엔터프라이즈 데이터 인프라를 말합니다. 신선도(소스가 바뀌면 인덱스가 갱신됨), 상호운용성(하나의 인제스천 기반이 레이크하우스·벡터 스토어·그래프에 공급), 발견 가능성(메타데이터 카탈로그와 리니지), 통제된 접근(소스 권한이 모든 파생 복사본으로 전파)으로 정의됩니다. 확립된 기술 표준이 아니며 슈퍼인텔리전스가 존재한다는 증거도 아닙니다.
엔터프라이즈 AI에서 벡터 데이터베이스와 지식 그래프의 차이는 무엇인가요?
벡터 데이터베이스는 콘텐츠 청크의 임베딩을 저장하고 “이것과 비슷한 것을 찾아줘” 같은 의미적 유사성 질의에 답합니다. 지식 그래프는 엔터티와 유형 있는 관계를 저장하고 “이것들이 어떻게 연결되어 있나” 같은 순회 질의에 답합니다. 대부분의 기업은 둘 다 필요합니다. 벡터 스토어는 비정형 텍스트를 대규모로 처리하고, 그래프는 다단 추론과 설명 가능한 답변을 가능하게 하는 명시적 관계를 담당합니다.
AI 데이터 파이프라인은 배치 처리와 CDC 중 무엇을 써야 하나요?
도메인의 온도에 따라 둘 다 사용합니다. CDC는 시스템 오브 레코드에서 AI 지향 동기화의 기본 선택으로, 커밋 로그를 읽고 소스 부하가 거의 없이 삭제를 정확히 전파합니다. 이벤트 스트리밍은 이미 이벤트를 발행하는 도메인에 적합하고, 배치는 초기 백필과 시간별·일별 신선도가 허용되는 진정한 콜드 데이터에 적합합니다.
소스 데이터가 바뀔 때 벡터 임베딩을 최신으로 유지하려면 어떻게 하나요?
변경 이벤트 기반의 증분 인덱싱으로 처리합니다. 소스 문서가 바뀌면 그 문서를 재청킹하고 바뀐 청크를 재임베딩해 안정된 ID로 업서트합니다. 삭제는 툼스톤으로 전파해야 하며, 소스에서 삭제된 문서는 동일한 지연 윈도우 안에 인덱스를 떠나야 합니다. 각 벡터에 임베딩 모델 버전을 저장해두면 모델 업그레이드를 전체 재구축이 아닌 단계적 재임베딩으로 배포할 수 있습니다.
접근 권한은 벡터 스토어와 지식 그래프에 어떻게 전파되나요?
소스 ACL은 콘텐츠와 함께 인덱스 메타데이터로 운반되어 검색 시점에 적용됩니다. 통제된 검색 인터페이스가 호출자를 인증하고 결과를 반환하기 전에 권한 필터를 적용합니다. 회수도 데이터처럼 전파됩니다. 삭제·갱신 이벤트와 주기적 ACL 동기화이며 훈련으로 검증됩니다. 임베딩은 텍스트의 복사본이므로 동등하게 민감하게 취급해야 합니다.
기업은 AI-ready 데이터 인프라 구축을 어디서 시작해야 하나요?
가치가 높은 하나의 데이터 도메인부터 시작합니다. 그 인제스천을 표준화하고(소스가 지원하면 CDC), 그 도메인만의 검색 플레인을 세우고, 신선도·권한 전파·엔드투엔드 리니지를 검증한 뒤 같은 기반을 통해 인접 도메인으로 확장합니다. AI를 하나도 프로덕션에 올리기 전에 전체 기반을 다 만들려는 기업은 보통 아무것도 프로덕션에 올리지 못합니다.
