VP / 2026.11.04 / FILE INGESTION
수식 한 개에 380초.
PDF 앞단을 고쳤습니다.
현재 색인이 지원하는 12개 유형을 운영과 같은 이미지에서 점검했습니다. 복잡한 PDF의 CPU 수식 인식이 가장 큰 병목이었고, 작은 그림의 자동 생략은 문서 전체의 완료 실패로 이어졌습니다. 원본을 찾지 못한 Excel은 권한 오류와 혼동되고 있었습니다.
01 / 지원 유형
수정본 22개 대표 사례 통과
HTML·문서·이미지·음성·영상의 실제 파서와 중간 구조를 확인했습니다. 실제 원본 비교는 현재 계정의 열람 권한과 SHA를 확인한 자료만 사용했습니다.
| 유형·확장자 | 결과 | 추출 시간 | 확인 범위 |
|---|---|---|---|
| HTMLhtml | 대표 사례 통과 | 22.7–29.4초 | 원문·구조 변환 |
| Markdownmd | 대표 사례 통과 | 2.7–10.3초 | 원문·구조 변환 |
| 일반 텍스트txt | 대표 사례 통과 | 2.4–2.4초 | 원문·구조 변환 |
| PDFpdf | 수정 후 실제 2개 추출 완료 | 17.3–252.1초 | 24쪽·10쪽 전체 페이지, 그림·표·수식 |
| Worddocx | 대표 사례 통과 | 8.8–11.3초 | 본문·그림·표 포함 예제 |
| PowerPointpptx | 대표 사례 통과 | 8.8–13.8초 | 본문·그림·표 포함 예제 |
| Excelxlsx | 변환 통과 / 원본 확인 1건 | 8.8–8.8초 | 현재 계정에서 해당 원본 접근 불가 |
| 한글 HWPhwp | 대표 사례 통과 | 0.4–1.1초 | 기존 텍스트·표 추출 경로 |
| 한글 HWPXhwpx | 대표 사례 통과 | 1.0–1.0초 | 기존 텍스트·표 추출 경로 |
| 이미지png · jpg/jpeg · webp | 대표 사례 통과 | 2.4–2.5초 | 실제 디코딩 / 시각 응답 모의 |
| 음성wav · mp3 · m4a · ogg · flac | 대표 사례 통과 | 21.7–28.4초 | 실제 코덱·Whisper / 영상 묘사 모의 |
| 영상mp4 · webm | 대표 사례 통과 | 21.5–24.0초 | 실제 코덱·Whisper / 영상 묘사 모의 |
표의 시간은 추출·구조 변환이며 분량이 서로 다릅니다. 유형 간 속도 순위가 아닙니다. 기본 12개+미디어 10개, 실제 원본·설정 비교 9회, 수정본 22개, 실제 시각 API를 사용한 PDF 2개를 구분해 기록했습니다.
02 / PDF 처리 구조
그림·표·수식을 끄지 않고 처리 경로를 바꿨습니다
원본 확인
기존 RLS로 권한·버전·SHA를 확인합니다. 다른 계정의 파일을 탐색하지 않습니다.
글자·페이지·표
기존 CPU OCR·페이지 배치·표 모델을 유지합니다. 운영은 계속 2 CPU·8 GiB입니다.
수식 인식 교체
느린 CPU 수식 추론 대신 기존 부모 시각 AI 경로를 재사용합니다. 격리 자식에게 키를 넘기지 않습니다.
구조·출처 보존
24쪽 전체에서 그림 9·표 7·수식 7개를 중간 구조에 보존했습니다.
관계·임베딩
Luna none + Voyage 4 Lite·1,024차원과 기존 동시성·한도를 유지합니다. Hindsight는 꺼져 있습니다.
완료 검증
수식 판독 실패나 멀티모달 분석 누락을 성공으로 표시하지 않습니다. 기존 완료 캐시를 보존합니다.
기존 CPU 수식 경로 · 별도 8 CPU 시험
380.2초 / 수식 1개
OCR·배치·표는 약 102초에 끝났습니다. 다음 수식에서도 지연돼 전체 650초 진단 제한에서 중단했습니다. 8 CPU 증설을 운영에 적용하지 않았습니다.
수정본 · 운영과 같은 2 CPU / 8 GiB
224.2초 / 24쪽 전체
7개 수식 API 판독을 포함합니다. 10쪽 디자인 PDF도 252.1초에 전체 추출을 완료했고 그림 81개를 보존했습니다.
호출 승인 286회 · 임베딩 벡터 1,667개. 실제 Luna/Voyage와 기존 예산·공급자 슬롯을 사용했습니다. 저장소는 별도 로컬 SDK 저장소이며 운영 Neon 색인 쓰기는 0회입니다.
150·650초는 병목을 찾기 위한 시험 제한이며 운영 700초와 구분합니다. 앞선 256회 호출 제한 시험은 시험용 상한에 도달해 중단했고, 이후 운영과 같은 800회 한도로 확인했습니다. 이 과정에서 작은 그림이 생략되어 문서 전체가 실패하는 문제를 추가로 발견해 수정했습니다. 진행률은 완료한 문서 수 기준이므로 큰 PDF 한 개를 처리하는 동안에는 0%가 유지될 수 있습니다. 이번 전체 시험은 약 6분 50초였으며 문서 수·페이지 수만으로 다른 자료의 시간을 환산할 수 없습니다.
03 / 반영한 수정
기존 파서·서명·권한 경로를 재사용했습니다
- PDF 수식: 기존 GPT-4.1-mini 시각 모델로 수식 이미지를 전사하고 JSON·빈 응답·크기·시간 제한을 검증합니다. 공식 SDK가 내부 실패를 삼켜도 문서 완료로 통과시키지 않습니다.
- 작은 그림 누락: SDK의 기본 한 변이 64px 미만인 그림 자동 생략을 해제하고, 이미지 처리 한도를 VP 입력과 같은 8 MiB로 맞췄습니다. 기존 설정에서 32px 이미지 실패를 재현하고 수정 후 분석·검색·캐시 재사용을 확인했습니다. 누락 검사를 느슨하게 하지 않았습니다.
- CPU 설정: 기존 스레드 제한을 격리 프로세스에 전달합니다. Office·HTML은 불필요한 PDF 전용 설정을 불러오지 않습니다.
- 원본 조회: Storage의 명시적
not_found / 404를 원본 확인 문제로 분류해 전체 작업의 로그인 대기와 구분합니다. 실제 권한 거절은 계속 거절합니다. - 이관 사본: 기존 기능이 활성화된 경우 기존 RLS 서명 경로로만 재사용하며 SHA·크기·호스트·경로를 검증합니다. 설정을 임의로 켜지 않습니다.
- 보존: 모델 선택·차원·진행 중 작업·기존 완료 캐시·DB 스키마와 Mac/Windows 0.2.196 설치파일을 보존합니다. 파서 결과 계약은 유지합니다.
등록 정보 열람은 가능하지만 현재 계정의 원본 조회는 not_found이며, 읽을 수 있는 이관 사본도 반환되지 않았습니다. 이 사실만으로 물리적 삭제를 확정할 수 없습니다. 소유자의 원본 경로·접근 권한을 확인하고, 실제 원본이 없다면 다시 등록해야 합니다.
원본·권한 Node 11개, 관련 Python 27개 통과. 배포 이미지의 코어/실제 SDK 12개와 격리 런타임 8개, 잘린 응답 재개와 작은 그림의 이전/수정 비교를 확인했습니다. 배포 이미지에서 실제 SDK의 이미지/복합 문서 색인·검색·출처·캐시와 격리 수식 경로 검사를 실행했습니다. 운영 적용: 운영 반영 완료 · 서버 r2 / 웹 676 / Mac·Windows 0.2.196 유지.
04 / 검증 한계
추출 완료가 모든 내용의 정답을 뜻하지는 않습니다
- 수식 품질: 합성 수식 3개는 일치했습니다. 실제 논문의 수식 7개를 원문과 대조한 한 회차에서는 6개가 의미상 일치했고, 1개는 작은 아래첨자 한 글자가 빠졌습니다. 수학적 완전 정확도를 보장하지 않습니다.
- 미디어: 실제 이미지 디코딩·음성 코덱·Whisper 전사를 시험했으며, 기본 이미지·영상의 외부 시각 응답은 모의값입니다. PDF 수식과 전체 경로 시험은 실제 API를 사용했습니다.
- 한글: HWP/HWPX는 기존 텍스트·표 경로를 확인했습니다. 포함 그림의 완전한 시각 분석은 이번에 추가하지 않았습니다.
- 분량·비용: 기존 8 MiB 색인 입력·중간 결과 제한을 유지합니다. 큰 파일·손상·암호화·모든 코덱·모든 레이아웃을 전수 시험한 것은 아닙니다. PDF 수식은 CPU 대신 기존 유료 시각 API를 쓰므로 호출 비용이 추가됩니다.
- 실기기: 서버 경로는 웹·Windows·Mac에 공통입니다. Windows 실기기의 전체 준비 완료·재로그인·중단 후 재개와 최종 답변 품질은 별도 확인이 필요합니다.