OA 대응안의 품질 향상 시도 - 실패

OA 초안을 받아서 최종본까지 가는 동안, 시간이 제일 많이 드는 것은 대응 방향을 정하는 과정입니다. 즉, 사람의 개입이 병목입니다.

길은 두 갈래입니다.

사람이 빠르게 판단할 수 있도록 초안을 만드는 방안
사람의 판단 자체를 줄이는 방안

둘 중 하나를 고를 일은 아닙니다. 판단할 일은 최소한으로 줄이고, 그래도 남는 판단은 빨리 끝나도록 — 이 방향으로 기존 OA 대응검토 에이전트의 지침을 고쳐봤습니다. 루프 엔지니어링 글에서 한 문단으로 지나갔던 그 시도인데, 여기서는 무엇을 만들었고 어디서 무너졌는지를 적어둡니다.

어떻게 만들려고 했나

기존 방식은 초안을 하나 쓰고 그걸 검증하는 구조라서, 대안이 잘 안 나옵니다. 그래서 대응안을 여러 개 만들어 서브에이전트들끼리 서로 싸우게 하려고 했습니다.

에이전트	입장	하는 일
A	출원인·특허권자	대응안을 만든다. 안마다 주제 유지 여부·권리범위 축소 정도를 스스로 매긴다
B	심사관·무효심판청구인	A의 보정안과 의견을 반박한다. 보정범위 위반·기재불비도 본다
C	판정 3인	양측 서면만 읽고 등록/거절을 표결한다. 3:0인지 2:1인지도 낸다
D	채점	권리범위와 등록가능성으로 안들을 정리해 나에게 올린다

이걸 최대 3라운드 돌립니다. B는 A의 사고과정을 못 보게 했습니다. 서브에이전트는 부를 때마다 문맥이 비어 있어서 격리는 저절로 됩니다.

설계에서 제 원안이 뒤집힌 게 두 군데 있습니다.

하나는 점수 매기는 방식입니다. 주제 유지·권리범위·경쟁사 매칭에 가중치를 줘서 한 숫자로 합치려다 그만뒀습니다. 여러 개를 숫자 하나로 뭉개 놓으면, 정작 결정할 때 그 숫자를 도로 분해해야 합니다. 없애려던 개입 시간이 그대로 돌아옵니다. 대신 기준마다 따로 줄을 세우고(권리범위가 넓은 것 먼저, 같으면 등록가능성으로), 다른 어느 안보다도 모든 면에서 못한 안만 떨어뜨리는 방식으로 바꿨습니다. 그래서 남는 것은 하나가 아닙니다. 「이 안은 저 안보다 권리범위가 넓고 등록가능성은 낮다」처럼 서로 우열이 안 갈리는 몇 개가 남고, 그중에서 고르는 건 제 몫으로 뒀습니다.

다른 하나는 언제 멈추느냐입니다. 「1항에 넣을 게 없을 때까지」로 잡으려다 뺐습니다. 그렇게 두면 넣을 수 있는 걸 다 넣어서 권리범위를 과하게 줄입니다. 두 라운드를 연속으로 돌렸는데 살아남는 안 목록이 그대로면 멈추는 것으로 바꿨습니다.

세 사건에 돌려봤다

첫 번째 — 검토 완료한 사건으로 점검

정답지가 있는 사건이 필요해서, 대응을 이미 마친 건을 넣어봤습니다. 보정 없이 또는 약간의 보정으로 대응할 수 있었고, 실제로 그렇게 나간 사건입니다.

에이전트들이 1순위로 올린 것은 등록 가능한 종속항을 병합한 안이었습니다. 실제 확정본에서는 그게 권리범위가 가장 좁은 제3안이었고, 권리범위가 넓은 무보정의 제1안과 최소 보정으로 대응하는 제2안이 앞에 있었습니다. 제1·2안은 아예 나오지 않았습니다.

특히 제2안은 종속항 전체가 아니라 그중 결정적인 문언만 가져오는 안이었는데, 출원인 에이전트가 그런 형태를 만들지 못했습니다.

두 번째 — 등록 가능한 주제를 못 찾은 사건

두 번째도 검토를 마친 건으로 하려다가, 마침 대응안을 고민하던 사건이 있어 그걸 넣었습니다.

2시간을 돌렸습니다. 3라운드를 다 쓰고 판정 3인이 3:0 등록을 준 안이 하나 나왔습니다. 심사관 에이전트가 자기 주장 하나를 「증거가 없다」며 스스로 철회한 것이 근거였습니다.

그런데 그 안이 독립항에 붙이라고 한 특징은, 인용문헌에는 없지만 시중에 흔한 물건이었습니다. 구글 이미지 검색 1분이면 카탈로그가 쏟아지는 종류입니다. 인용된 3건에 우연히 없었을 뿐입니다.

철회 ≠ 정당이었습니다. 심사관 에이전트에게 문헌 안에서만 보라고 해뒀으니 문헌 밖의 물건에는 증거를 댈 수가 없었고, 판정은 그 침묵을 등록의 근거로 삼았습니다.

그래서 지침에 사전 필터를 하나 넣었습니다. 「인용문헌에 그 문언이 없다」는 신규성의 근거일 뿐 진보성의 근거가 아니다 — 재료 치환·시중 상용품·단순 배치 변경에 해당하면, 문헌을 더 뒤지기 전에 명세서에 「극복한 기술적 곤란」의 근거가 있는지 먼저 확인하게 했습니다. 상용품 여부는 이미지 검색으로 1분 안에 실물을 확인하는 것까지 적어뒀습니다.

세 번째 — 기존 방식과 나란히 돌린 사건

최종안이 아직 없는 실사건으로 기존 방식과 이 방식을 둘 다 돌려서 제가 고르기로 했습니다. 최종본이 있는 사건은 「재현하면 합격」이 되는데 재현이 곧 우월은 아니니까요. 최종안이 없으면 제 선택이 정답지가 됩니다.

	기존 방식	이 방식
에이전트	2개	5개
토큰	384,774	855,204 (2.2배)
답의 성격	절차로 지지 않는 법	청구항 문언으로 이기는 법

두 답은 배타적이지 않고 상보적이었습니다. 여기까지는 수확입니다.

그런데 둘 다 진짜 쟁점을 못 찾았습니다. 두 방식의 보정안이 서로 달라서 제가 직접 인용문헌을 들여다봤습니다. 본원발명은 어느 공간을 개폐하는 커버와 그 구동계에 관한 것이고, 제가 쓴 명세서라 작동 메커니즘을 정확히 알고 있었습니다. 인용문헌의 개방 메커니즘은 본원과 일치하는데, 폐쇄 메커니즘이 명확히 보이지 않았습니다. 그래서 인용문헌에서 폐쇄가 무엇으로 이뤄지는지 확인해보라고 시켰고, 거기서 최종 보정안이 나왔습니다.

85만 토큰을 쓰고도 못 찾은 것을 그 한 줄이 찾았습니다.

남는 생각 - 다음에 고칠 것

1. 내가 답을 찾는 순서를 그대로 시킨다

내가 찾을 수 있는 답을 왜 AI는 못 찾는가. 내가 답을 찾을 때의 흐름은 무엇인가. 여기서부터 다시 봤습니다. 제가 무의식적으로 밟고 있던 순서를 복기해서, 그 순서대로 출원인 에이전트가 안을 만들고 심사관 에이전트와 싸우게 해볼 생각입니다.

순위	무엇을
1	독립항을 보정하지 않고 심사관 의견에 반박
2	주제 유지 · 구조 구체화 — 종속항에 있는 특징 부가
3	주제 유지 · 구조 구체화 — 청구범위에 없는 특징 부가
4	주제와 시너지 — 청구범위에 반영된 특징 부가
5	주제와 시너지 — 청구범위에 없는 특징 부가
6	시너지는 없지만 — 청구범위에 반영된 특징 부가
7	시너지도 없고 청구범위에도 없지만 — 명세서에 개시된 특징 부가
8	위 각 순위 안에서, 문언에는 없지만 도면에 명확히 개시된 특징 부가

2순위 안에도 순서가 있습니다.

한 종속항에 특징이 여럿이면 → 하나의 특징만 먼저, 그 다음이 종속항 그대로
부가하려는 특징이 든 종속항이 다른 종속항을 인용하고 있으면 → 인용 체인을 끊고 그 특징만 병합할 수 있으면 그것부터, 안 되면 인용 체인을 전부 부가

2. 진보성 입증책임은 심사관에게 있다

출원인·심사관·판정으로 나누는 이 방식은 대체로 출원인 쪽에 가혹했습니다. 그래서 등록 가능성의 허들을 낮춰보려고 합니다.

「등록이냐 거절이냐」만 물으면 출원인에게 입증책임을 지우는 프레임이 됩니다. 판정에게 「심사관이 각 한정에 대해 prima facie를 세웠는가」를 먼저 답하게 할 생각입니다.

3. 판정 대상을 「보정안 + 의견안」으로 묶는다

지금은 보정안 대 심사관 반박으로 붙였는데, 실무에서 보정안은 혼자 나가지 않습니다. 보정안과 의견서를 한 덩어리로 놓고 심사관 반박과 비교해야 맞습니다.

4. 출원인 재반박까지 한 바퀴 더

보정안+의견안 → 심사관 반박 → 출원인 재반박 까지 간 뒤에 종합해서 판정하게 합니다. 지금 구조는 출원인이 마지막 말을 못 하고 끝납니다.

5. 1차 OA면 1:2로 거절된 안도 살린다

1차 OA의 무보정은 등록 시도가 아니라 탐침입니다. 뒤에 보정할 길이 열려 있는 거절과 막다른 거절은 값이 다른데, 지금은 같은 점수를 받습니다.

위와 같이 고쳐서 다시 돌려보고, 다음에 또 기록하겠습니다.