표현이 다른 문장은 의미로 찾되, 제품명·고유 용어·수치는 정확히 놓치지 않아야 했습니다.

사용 기술

PostgreSQL · pgvector · FTS/RRF

선택 이유

벡터 검색과 키워드 검색을 함께 사용합니다. 의미가 비슷한 표현은 벡터 검색으로 찾고, 제품명이나 숫자처럼 정확한 표현이 중요한 정보는 FTS에서도 후보를 찾습니다.

검증 근거

두 결과는 RRF로 결합하고, 최종 답변에는 실제로 선택된 문서 조각을 근거로 남겨 검색 결과와 생성 내용을 함께 확인할 수 있게 했습니다.

트레이드오프

두 검색 결과의 가중치와 인덱스를 함께 튜닝해야 하며, 검색 경로를 추적하는 코드가 늘어납니다.

AI 모델 호출 상태와 사용자가 확인하는 문서 작성 상태가 섞이면 현재 단계와 가능한 다음 작업을 일관되게 관리하기 어려웠습니다.

사용 기술

OpenAI Agents SDK · PostgreSQL · Prisma

선택 이유

Agents SDK는 모델과 도구 실행을 담당하고, PostgreSQL과 Prisma에 저장한 제품 상태가 현재 작성 단계와 가능한 전이의 기준이 되도록 책임을 분리했습니다.

검증 근거

각 단계의 입력·출력·상태를 제품 데이터로 저장하고, 디버거가 이 기록을 읽어 현재 상태와 문제가 시작된 지점을 보여줍니다.

트레이드오프

AI 실행 결과와 제품 상태를 연결하는 동기화 규칙과 스키마를 별도로 관리해야 합니다.

최종 결과만 저장하면 어느 단계에서 오류가 시작됐는지 찾거나 프로세스 변경 전후를 비교할 수 없었습니다.

사용 기술

TypeScript · Zod · Prisma · revisioned checkpoints

선택 이유

작성 과정을 명시적 상태 전이로 만들고 단계별 입력·출력과 revision을 보존해 현재 상태 확인과 변경 전후 비교가 가능하도록 했습니다.

검증 근거

attempt UUID, 단계 transition, checkpoint snapshot을 스키마로 검증하고 변경 불가능한 실행 근거를 발행합니다.

트레이드오프

단계와 스키마가 바뀔 때 버전 호환성을 유지해야 하고, 저장량과 전이 관리 코드가 증가합니다.

프롬프트 변경이 좋아 보이더라도 유용한 내용을 지우거나 비용·지연을 악화시키는 회귀를 놓칠 수 있었습니다.

사용 기술

버전 평가셋 · baseline/candidate · human gate

선택 이유

기존 버전과 변경 버전을 같은 평가셋으로 실행해 비교합니다.

검증 근거

품질 점수만 보는 것이 아니라 비용과 응답 시간도 함께 기록하고, 전체 평균이 좋아졌더라도 특정 사례의 regression이 없는지 확인합니다. 자동 평가 결과는 참고하되 최종 변경은 사람이 승인합니다.

트레이드오프

평가셋을 계속 관리해야 하고, 검수 단계를 거치는 만큼 실험에서 배포까지 시간이 더 걸립니다.

실행 기록이 생긴 순서만 보고 단계를 연결하면, 분기와 재시도가 원래 설계된 작업 경로처럼 잘못 보일 수 있었습니다.

사용 기술

versioned event contract · authored topology · React Flow

선택 이유

원본 프로젝트가 단계와 이동 조건을 결정하고, 콘솔은 각 단계에서 실제로 발생한 기록만 읽도록 책임을 나눴습니다.

검증 근거

Overview에는 미리 정의된 작업 단계와 이동 경로만 표시합니다. 재시도 기록은 각각 보존하되, 기록 순서만 보고 존재하지 않는 경로를 만들지 않습니다.

트레이드오프

프로젝트가 정의 버전과 이벤트 계약을 함께 발행해야 하며, 정의가 없거나 일치하지 않는 관측값은 그래프에 임의로 붙일 수 없습니다.

한 번의 실패만으로는 일시적인 오류와 반복되는 안전·품질 문제를 구분할 수 없었습니다.

사용 기술

PostgreSQL · fixed UTC windows · deterministic time-series aggregation

선택 이유

같은 프로젝트·프로세스 정의·실행 모드의 상태 이벤트를 고정된 시간 구간으로 묶고, 성공·도달·평가 비율의 분모를 각각 명시했습니다.

검증 근거

기간별 화면에는 각 작업 단계의 도달 여부와 안전 규칙의 통과·경고·중단 결과를 함께 표시합니다. 데이터가 없거나 판단할 수 없는 구간은 성공으로 간주하지 않고 ‘—’로 남깁니다.

트레이드오프

정확한 비교를 위해 범위와 시간창이 제한되고, 표본이 작은 구간에는 강한 이상 판정을 내릴 수 없습니다.

안전·품질 규칙에서 문제를 찾은 뒤, 원본 프로젝트나 운영 상태를 바꾸지 않고 같은 조건을 재현해야 했습니다.

사용 기술

Zod · immutable baseline · isolated TEST replay

선택 이유

콘솔은 선택한 작업 구간의 상태를 복사하고, 변경안은 별도 복사본에서 테스트하도록 원본 프로젝트에 요청합니다.

검증 근거

기존 결과와 변경안 결과를 나란히 놓고 안전 규칙별 통과·경고·중단 결과와 이유를 비교합니다. 실제 운영 실행이나 운영 데이터 변경은 허용하지 않습니다.

트레이드오프

프로젝트가 안전한 스냅샷과 재현 가능한 테스트 어댑터를 제공해야 하며, 콘솔만으로 임의의 상태를 실행할 수 없습니다.

도메인 상태 이벤트만으로는 향후 사용자 행동과 모델 실행 특성을 함께 보는 사이트 분석까지 확장할 수 없습니다.

사용 기술

Read-only PostHog · LangSmith · bounded provider federation

선택 이유

제품 행동은 PostHog, 기술 실행은 LangSmith에 남기되 허용된 집계와 참조만 제한적으로 수집합니다.

검증 근거

현재 공급자 메트릭은 프로세스 상태의 원인이나 가드레일 판정을 대신하지 않고 별도 근거로 표시합니다. 향후 통합적인 사이트 분석에 사용할 수 있도록 공통 operation 참조를 준비했습니다.

트레이드오프

공급자 데이터는 상관 근거일 뿐 인과 관계가 아니며, 원본 payload와 자유 형식 쿼리를 포기하는 대신 개인정보와 권한 범위를 줄였습니다.