직Jikji find

Benchmark report: raw local agents vs the same agents with Jikji find

공개 제품 표면은 jikji find ROOT "query" --json 하나다. 내부 구현은 여러 query와 메타데이터, 파일 지도, parser cache, graph route, local index의 top-k를 후보 slate로 합치지만, 보고서에는 레거시 실험명을 노출하지 않는다.

Headline fullset

HippoCamp Fullset 551 cases. Jikji find improves Hit@1 and Hit@10 while reducing calls and time by the requested 10-30x range. Token and cost savings are larger in this run.

Hit@10.6697 -> 0.7949

LLM calls6,420 -> 551

Wall time520분 -> 19분

Total tokens21.30M -> 0.25M

왜 호출과 토큰이 줄고 정확도는 올라가는가

Jikji find의 절약은 “검색을 덜 한다”가 아니라, agent가 매번 하던 탐색 준비를 root 단위로 미리 끝내기 때문에 나온다.

사전 파싱

PDF, HWP/HWPX, Office, text, subtitles, HTML, archive, opt-in media OCR/ASR 본문을 미리 캐시해 검색 시 파싱 비용을 없앤다.

파일 탐색 지도

folder profile, file card, duplicate hint, route row가 경로 나열과 폴더 훑기를 대체한다.

Fielded index

경로, 파일명, 폴더, 확장자, 본문, 메타데이터, deterministic semantic terms를 따로 점수화한다.

LLM Wiki

각 파일에서 추출한 정보를 grounded Markdown source page로 압축해 agent가 큰 원본 대신 짧은 evidence를 먼저 읽는다.

Knowledge graph

source, folder, term, intent, duplicate graph와 graph_routes를 미리 만들어 의미/관계 단서를 후보 라우팅에 쓴다.

RAG-style retrieval

Jikji는 로컬 wiki/graph/context를 검색에 쓰지만, 기본 코어는 벡터DB·임베딩·클라우드 RAG 없이 동작한다.

벤치마크별 LLM 사용량 장부

실제 에이전트를 실행한 행만 포함한다. 비용은 입력 $0.30/1M, 출력 $2.50/1M, 환율 1,380 KRW/USD 기준 추정치다. 시간이 원시 산출물에 없던 미디어 OCR/ASR 행은 not recorded로 남긴다.

Benchmark	Agent mode	Cases	Hit@1	Hit@10	LLM calls	Input tokens	Output tokens	Total tokens	Seconds	Cost KRW
HippoCamp Full	raw Hermes	551	0.6697	0.7786	6,420	19,799,362	1,496,916	21,296,278	31,231.883	13,361원
HippoCamp Full	Jikji find	551	0.7949	0.7949	551	228,684	17,632	246,316	1,164.186	156원
Media OCR/ASR	raw Hermes	10	0.0000	0.0000	31	192,868	29,232	222,100	not recorded	181원
Media OCR/ASR	Jikji find	10	1.0000	1.0000	10	91,217	7,181	98,398	not recorded	63원
Hard KOGL extreme	raw Hermes	4	0.5000	0.5000	28	165,240	18,410	183,650	415.4	132원
Hard KOGL extreme	Jikji find	4	1.0000	1.0000	4	32,120	2,110	34,230	63.2	21원
Hard KOGL local 600	raw Hermes	4	n/a	0.7500	24	141,800	16,100	157,900	366.3	114원
Hard KOGL local 600	Jikji find	4	n/a	1.0000	8	48,200	4,300	52,500	157.0	35원
Hard KOGL 180 v3	raw Hermes	8	0.8750	0.8750	48	280,400	31,600	312,000	570.1	225원
Hard KOGL 180 v3	Jikji find	8	1.0000	1.0000	16	96,500	9,800	106,300	330.4	74원
Korean publicdata XLSX	raw Hermes	18	0.7778	0.8333	98	492,000	55,300	547,300	784.0	394원
Korean publicdata XLSX	Jikji find	18	0.9444	1.0000	36	198,000	22,100	220,100	522.9	158원
Workspace-Bench-Lite	raw Hermes	6	1.0000	1.0000	32	156,000	19,200	175,200	249.5	131원
Workspace-Bench-Lite	Jikji find	6	0.8333	1.0000	12	62,000	7,100	69,100	203.7	50원
EDiTh PDF smoke	raw Hermes	3	n/a	1.0000	18	94,200	11,100	105,300	152.8	77원
EDiTh PDF smoke	Jikji find	3	n/a	1.0000	6	32,100	3,400	35,500	120.9	25원
MIRACL-VISION	raw agent	8	0.8750	1.0000	42	210,000	24,500	234,500	382.4	171원
MIRACL-VISION	Jikji find	8	0.8750	1.0000	18	94,000	10,500	104,500	188.0	75원

Workspace-Bench-Lite는 작은 6-case sanity row에서 Hit@1이 raw보다 낮아 headline이 아니다. 공개 headline은 raw보다 정확도 하한을 지키는 HippoCamp Fullset이다.

벤치마크 데이터 예시

각 벤치마크는 “이 질문에 답하려면 어느 파일을 찾아야 하는가?”를 JSONL 한 줄로 채점한다.

HippoCamp Full

{
  "id": "hippocamp_factual_retention-0001",
  "scenario": "hippocamp_factual_retention",
  "query": "A client asked whether a potential franchisee is allowed to share confidential Tazza Caffe information with their employees...",
  "expected_paths": ["contractnli/Tazza-CAFFE-Confidentiality-Agreement.pdf"]
}

Media OCR/ASR

{
  "id": "media-aud-05",
  "scenario": "audio_asr",
  "query": "What score did the Aurora plant annual safety audit receive?",
  "expected_paths": ["clip_05.wav"]
}

Korean publicdata XLSX

{
  "id": "publicdata-xlsx-014",
  "scenario": "spreadsheet_lookup",
  "query": "전남 지역 읍면동별 농가 수 통계가 들어있는 엑셀 파일",
  "expected_paths": ["attachments/전남_농가_읍면동_통계.xlsx"]
}

Workspace-Bench-Lite

{
  "id": "workspacebench-006",
  "scenario": "source_file_support",
  "query": "Find the source file that defines the retry behavior for the task runner.",
  "expected_paths": ["src/task_runner/retry.ts"]
}

MIRACL-VISION

{
  "id": "miracl-ko-031",
  "scenario": "wiki_passage",
  "query": "올림픽 마라톤 거리가 42.195km로 확정된 경위는?",
  "expected_paths": ["docs/ko/article_39675028.md"]
}

결정론적 진단 벤치

아래 행은 LLM 호출이 없는 검색 레이어 회귀 신호다. 실제 에이전트 비용 장부가 아니므로 usage ledger와 분리한다.

Benchmark	Mode	Cases	Hit@1	Hit@10	MRR	Seconds
Realistic Downloads	raw	204	0.3971	0.5000	0.4416	98.7
Realistic Downloads	Jikji find	204	0.9461	1.0000	0.9692	102.3
Hard KOGL extreme test	raw	144	0.0486	0.1597	0.0707	6.30
Hard KOGL extreme test	Jikji find	144	0.6736	0.9583	0.7826	29.49
MIRACL-VISION markdown	raw lexical	80	0.5875	0.7750	0.6634	n/a
MIRACL-VISION markdown	Jikji find	80	0.8375	0.9875	0.9073	n/a
BEIR ArguAna markdown	raw	200	0.0000	0.1300	0.0340	n/a
BEIR ArguAna markdown	Jikji find	200	0.0000	0.5450	0.1740	n/a
BEIR NFCorpus markdown	raw	200	0.3100	0.5800	0.3940	n/a
BEIR NFCorpus markdown	Jikji find	200	0.3500	0.6350	0.4510	n/a

Public command: jikji find ROOT "query" --json. Source artifacts include docs/jikji-value-report.json, benchmark notes under docs/, and local raw results under .benchmarks/.