시제품이 누리집은 공식 전자정부 누리집이 아닙니다. 합성 인물 데이터로 만든 「정책 미리듣기」 시제품(POC)입니다.
새 의견수렴 설계
합성 인물(AI)의 반응입니다. 실제 여론이 아닙니다.Jev는 합성 인물에 대해 보정된 확률을 답합니다. 실제 여론이 아니며, 수치는 집단 단위로 읽습니다.
가상 정책안(가상) 국회·법원행정처

법관 정시출퇴근제 도입

  • 대표 패널 300명
  • 영향권 패널 100명
  • 실행 2026. 9. 24.
  • 생성 시간 24분 1초
  • 모델 haiku · sonnet

재판 지연을 둘러싼 공개 논의를 바탕으로 시제품 시연용으로 작성한 가상 정책안입니다. 국회·법원·정부가 발표한 정책이 아닙니다. 배경의 현행법 설명(「법원조직법」 제44조의2, 「법관징계법」 제2조·제3조)은 법제처 현행 법령으로 확인했습니다.

5,000명에게 확률로 다시 물었습니다

TypeSafe의 Jev는 문장을 쓰지 않고, 정해 둔 질문에 보정된(calibrated) 확률로 답하는 판단 모델(System One)입니다. 대표 패널과 같은 방식(시도×연령대×성별 층화)으로 뽑은 5,000명과 LLM 패널 400명에게 한 사람당 한 번씩, 아래 질문을 한꺼번에 물었습니다.

  • 찬반 5단계 점수 — How would this person react to the policy?
  • 직접 영향 예·아니오 확률 — 이 정책이 이 사람의 일·일상·지출을 직접 바꾸는가
  • 조항별 영향 조항 8개 각각에 대한 예·아니오 확률
  • 참여 가능성 공식 의견수렴(입법예고 의견, 공청회)에 스스로 의견을 낼 확률
  • 소식 경로 이런 소식을 주로 접하는 곳(10개 중 하나)
  • 조항별 찬반 조항마다 반대·중립·찬성 3단계 점수
  • 쟁점 공감 LLM 패널에서 나온 쟁점 7개 각각을 이 사람도 제기할 확률
  • 참여 방식 설명회, 경로당·마을 방문, 문자 설문, 전화, 직장·단체, 입법예고 의견 여섯 가지 각각에 실제로 참여할 확률
  • 설명 필요 조항 의견을 내기 전에 설명이 가장 필요한 조항, 원문만으로 이해할 확률

질문을 10개에서 31개로 늘려도 한 번 호출에 걸리는 시간은 0.3~1.3초로 같았고, 늘어나는 것은 입력 토큰(비용)뿐이었습니다. 그래서 한 사람에게 필요한 판단을 한 번에 모두 묻습니다.

Jev 5,399회 · $0.78 · 한 사람당 한 번, 질문을 모두 담아

정량 패널
5,000명
층화 추출
찬성 쪽 확률
58%
찬성+강한 찬성
반대·유보
42%
반대·중립
평균 지지
+0.58
95% 구간 +0.58 ~ +0.59

찬반 확률 분포

사람마다 받은 5단계 확률을 평균한 값입니다. 한 사람의 답 하나가 아니라 확률의 합입니다.

Jev 정량 패널5,000명
강한 반대 <0.1% · 반대 3% · 중립 39% · 찬성 53% · 강한 찬성 5%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성

같은 사람, 두 도구

LLM 패널 사람들에게 LLM은 한 사람당 답 하나를 뽑았고, Jev는 같은 사람들에게 확률 분포를 줬습니다. LLM이 한쪽으로 쏠리는지 여기서 확인합니다.

LLM400명 · 한 번씩 답함
강한 반대 0% · 반대 3% · 중립 5% · 찬성 93% · 강한 찬성 0%
Jev같은 400명 · 확률
강한 반대 0.1% · 반대 5% · 중립 37% · 찬성 53% · 강한 찬성 4%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성
LLM 찬성 비율
93%
찬성·강한 찬성으로 답한 사람
Jev 찬성 쪽 확률
58%
같은 사람들의 평균
차이
35%p
LLM − Jev
상관계수
0.42
사람별 LLM 답과 Jev 기댓값

조항별 찬반 지도

조항마다 반대(−1)·중립(0)·찬성(+1) 확률을 물어 기댓값을 칸에 적었습니다. 빨강 쪽일수록 그 집단이 그 조항에 반대할 가능성이 큽니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경+0.46+0.31+0.41+0.46+0.49+0.53+0.53
가. 근무시간 법정화+0.42+0.30+0.39+0.43+0.46+0.47+0.46
나. 법원 밖 근무 신고와 예외+0.34+0.30+0.40+0.39+0.35+0.31+0.29
다. 전자 출퇴근 기록과 점검+0.32+0.23+0.31+0.34+0.35+0.34+0.30
라. 근태 현황 공개+0.33+0.22+0.30+0.33+0.36+0.38+0.38
마. 근태 징계 사유 명시+0.45+0.31+0.41+0.46+0.49+0.50+0.48
바. 재판 독립 보장+0.42+0.34+0.43+0.45+0.44+0.44+0.43
3. 기대 효과+0.53+0.36+0.47+0.52+0.56+0.60+0.61
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

직업군

조항전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
1. 추진 배경+0.46+0.51+0.44+0.50+0.44+0.46+0.39+0.43+0.43+0.55+0.48
가. 근무시간 법정화+0.42+0.47+0.43+0.54+0.40+0.37+0.36+0.43+0.39+0.65+0.40
나. 법원 밖 근무 신고와 예외+0.34+0.50+0.47+0.45+0.28+0.30+0.24+0.27+0.19+0.51+0.33
다. 전자 출퇴근 기록과 점검+0.32+0.38+0.35+0.46+0.32+0.28+0.23+0.34+0.29+0.60+0.27
라. 근태 현황 공개+0.33+0.40+0.34+0.40+0.30+0.31+0.26+0.31+0.30+0.45+0.33
마. 근태 징계 사유 명시+0.45+0.50+0.44+0.55+0.45+0.42+0.40+0.48+0.46+0.68+0.41
바. 재판 독립 보장+0.42+0.53+0.51+0.48+0.37+0.38+0.36+0.38+0.35+0.58+0.42
3. 기대 효과+0.53+0.58+0.50+0.57+0.51+0.52+0.46+0.50+0.52+0.64+0.53
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

조항별 반대·중립·찬성 확률(전체 5,000명)

다. 전자 출퇴근 기록과 점검
반대 8% · 중립 53% · 찬성 39%
라. 근태 현황 공개
반대 4% · 중립 59% · 찬성 37%
마. 근태 징계 사유 명시
반대 4% · 중립 48% · 찬성 48%
가. 근무시간 법정화
반대 3% · 중립 53% · 찬성 45%
나. 법원 밖 근무 신고와 예외
반대 1% · 중립 63% · 찬성 36%
3. 기대 효과
반대 1% · 중립 45% · 찬성 54%
1. 추진 배경
반대 1% · 중립 52% · 찬성 47%
바. 재판 독립 보장
반대 0.3% · 중립 57% · 찬성 43%
  • 반대
  • 중립
  • 찬성

조항별 영향 지도

칸의 숫자는 그 집단 사람들이 해당 조항의 직접 영향을 받는다고 Jev가 본 확률의 평균입니다. 인용 기반 쟁점 지도와 달리 모든 사람·모든 조항을 빠짐없이 봅니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경11%11%11%11%11%11%11%
가. 근무시간 법정화5%5%5%5%5%4%4%
나. 법원 밖 근무 신고와 예외4%4%5%4%4%4%3%
다. 전자 출퇴근 기록과 점검5%5%5%5%4%4%4%
라. 근태 현황 공개7%7%7%7%7%7%7%
마. 근태 징계 사유 명시5%5%5%5%5%4%4%
바. 재판 독립 보장7%7%7%7%7%6%6%
3. 기대 효과16%15%16%16%16%17%17%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

권역

조항전체수도권2,530명충청권542명호남권481명대경권486명동남권746명강원150명제주65명
1. 추진 배경11%11%11%11%11%11%11%10%
가. 근무시간 법정화5%5%5%5%5%5%5%4%
나. 법원 밖 근무 신고와 예외4%4%4%4%4%4%4%4%
다. 전자 출퇴근 기록과 점검5%5%5%4%4%4%4%4%
라. 근태 현황 공개7%7%7%7%7%7%7%6%
마. 근태 징계 사유 명시5%5%5%5%5%5%5%4%
바. 재판 독립 보장7%7%7%7%7%7%6%6%
3. 기대 효과16%16%16%16%16%16%16%15%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

조항전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
1. 추진 배경11%12%11%11%10%12%10%10%10%7%12%
가. 근무시간 법정화5%6%6%6%4%4%4%4%4%5%5%
나. 법원 밖 근무 신고와 예외4%5%5%5%3%4%4%4%3%5%4%
다. 전자 출퇴근 기록과 점검5%6%5%6%4%4%4%4%3%5%4%
라. 근태 현황 공개7%8%8%8%6%7%6%6%6%6%7%
마. 근태 징계 사유 명시5%6%6%6%4%4%4%4%4%6%5%
바. 재판 독립 보장7%8%8%8%6%6%6%6%5%7%7%
3. 기대 효과16%17%15%16%14%18%15%14%14%10%17%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

쟁점 확산도

LLM 패널 400명의 반응에서 나온 쟁점을 대표 5,000명에게 되물었습니다. 칸의 숫자는 그 집단 사람들이 그 쟁점을 제기할 확률의 평균입니다(한 사람이 여러 쟁점에 공감할 수 있습니다).

연령대

쟁점전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
일반 직업윤리 유추 지지55%51%57%58%58%56%52%
재판 지연 개선 기대53%46%51%53%55%57%56%
법조·법무업계 실무 체감25%23%28%28%26%24%21%
판사 실무현실 반영 미흡 우려31%29%32%33%32%31%31%
본인과 무관 무관심76%77%74%74%76%77%79%
경제·업무효율 연계 기대42%40%46%46%44%40%36%
취약계층·서민 보호 기대48%43%45%48%50%50%51%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

쟁점전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
일반 직업윤리 유추 지지55%61%59%59%58%59%59%60%57%59%50%
재판 지연 개선 기대53%56%52%54%51%54%50%51%51%53%54%
법조·법무업계 실무 체감25%34%32%32%21%25%23%23%18%28%24%
판사 실무현실 반영 미흡 우려31%37%36%33%28%31%30%30%27%33%31%
본인과 무관 무관심76%70%72%72%78%77%79%78%80%72%77%
경제·업무효율 연계 기대42%59%49%52%37%53%42%44%38%41%36%
취약계층·서민 보호 기대48%44%42%45%52%50%51%52%55%42%47%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

시도별 지도

정량 패널을 사는 곳(시도)으로 묶었습니다. 30명 미만 시도는 해석하지 않습니다.

직접 영향 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

반대·유보 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

30명 이상인 시도 사이의 차이는 직접 영향 최대 1.4%p, 반대·유보 최대 6.8%p입니다. 색 구간 경계 근처의 작은 차이로 색이 갈릴 수 있으니 칸의 숫자를 함께 봅니다.

집단별 평균 지지 (Jev)

0을 기준으로 왼쪽은 반대, 오른쪽은 찬성 쪽입니다. 30명 미만 집단은 회색으로 두고 해석하지 않습니다.

연령대

19–29세+0.42728
30대+0.55748
40대+0.59878
50대+0.62994
60대+0.64893
70세 이상+0.64759

권역

수도권+0.582530
충청권+0.57542
호남권+0.59481
대경권+0.59486
동남권+0.59746
강원+0.57150
제주+0.5665

성별

남자+0.572478
여자+0.602522

학력

무학+0.55121
초등학교+0.61431
중학교+0.62427
고등학교+0.591659
2~3년제 전문대학+0.54686
4년제 대학교+0.581429
대학원+0.56247

주거 형태

아파트+0.593123
단독주택+0.57832
다세대주택+0.57555
연립주택+0.58140
비주거용 건물 내 주택+0.5950
주택 이외의 거처+0.53300

가구

1인 가구+0.51842
부부+0.64999
부부+자녀+0.651479
한부모·자녀+0.61248
부모 등과 동거+0.45770
기타+0.59662

직업군

관리자+0.6593
전문가 및 관련 종사자+0.57572
사무 종사자+0.68603
서비스 종사자+0.57634
판매 종사자+0.59220
농림어업 숙련 종사자+0.5713
기능원 및 관련 기능 종사자+0.52256
장치·기계 조작 및 조립 종사자+0.59384
단순노무 종사자+0.59204
군인+0.6945
무직·기타+0.561976

회색은 30명 미만이라 해석하지 않습니다.

직접 영향과 참여 가능성

직접 영향 확률이 높은데 스스로 의견 낼 확률이 낮은 집단이 ‘찾아가 들어야 할 집단’의 후보입니다.

직업군

집단인원직접 영향 확률스스로 의견 낼 확률
관리자935%23%
전문가 및 관련 종사자5725%23%
사무 종사자6036%22%
서비스 종사자6344%17%
판매 종사자2205%19%
농림어업 숙련 종사자134%13%
기능원 및 관련 기능 종사자2564%16%
장치·기계 조작 및 조립 종사자3844%17%
단순노무 종사자2044%15%
군인455%22%
무직·기타19765%21%

연령대

집단인원직접 영향 확률스스로 의견 낼 확률
19–29세7285%18%
30대7486%21%
40대8785%21%
50대9945%21%
60대8935%21%
70세 이상7594%18%

참여 방식별 참여 확률

여섯 가지 의견수렴 방식 각각에 초대받으면 실제로 참여할 확률입니다. 찾아갈 집단 카드와 계획서의 접촉 방법은 이 숫자를 근거로 삼습니다.

전체 5,000명

경로당·마을 모임 방문 청취52%
10분 전화 인터뷰48%
직장·노조·협회를 통한 간담회41%
주민센터 설명회·공청회(평일 저녁)40%
문자로 받는 짧은 온라인 설문39%
입법예고 누리집 의견 쓰기31%

연령대

방식전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
경로당·마을 모임 방문 청취52%39%44%50%55%59%61%
10분 전화 인터뷰48%49%48%46%47%48%49%
직장·노조·협회를 통한 간담회41%39%49%49%48%34%25%
주민센터 설명회·공청회(평일 저녁)40%33%38%40%42%44%42%
문자로 받는 짧은 온라인 설문39%44%44%41%39%35%30%
입법예고 누리집 의견 쓰기31%32%34%33%31%30%26%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

방식전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
경로당·마을 모임 방문 청취52%49%45%48%54%51%51%50%56%49%54%
10분 전화 인터뷰48%48%49%50%47%46%42%43%44%48%49%
직장·노조·협회를 통한 간담회41%60%56%56%51%49%51%55%49%64%22%
주민센터 설명회·공청회(평일 저녁)40%43%40%39%40%39%37%36%37%41%43%
문자로 받는 짧은 온라인 설문39%43%44%44%38%40%36%37%32%42%36%
입법예고 누리집 의견 쓰기31%36%37%35%27%30%26%27%22%33%31%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

설명이 필요한 조항

의견을 내기 전에 설명이 가장 필요한 조항을 하나씩 고르게 한 확률의 평균입니다. 설명자료와 공청회 순서를 정할 때 씁니다.

가장 설명이 필요한 조항

바. 재판 독립 보장42%
1. 추진 배경15%
다. 전자 출퇴근 기록과 점검11%
마. 근태 징계 사유 명시9%
가. 근무시간 법정화7%
라. 근태 현황 공개7%
나. 법원 밖 근무 신고와 예외4%
3. 기대 효과3%

원문만으로 자기에게 무엇이 바뀌는지 이해할 확률

전체 17%

무학(121명)16%
초등학교(431명)17%
중학교(427명)17%
고등학교(1,659명)16%
2~3년제 전문대학(686명)17%
4년제 대학교(1,429명)18%
대학원(247명)18%

소식을 접하는 경로

이런 정책 소식을 주로 어디서 접하는지 Jev가 고른 곳의 비율입니다.

뉴스·유튜브·TV93%
동네 단톡방·이웃 입소문3%
경로당·노인복지관2%
주민센터·행정복지센터 안내나 반상회1%
온라인 커뮤니티·카페0.4%
종교 모임0.4%
직능단체·협회·조합0.2%
노동조합·직장 공지0.1%
학교·학부모 모임<0.1%

수정안 비교

LLM 패널이 낸 보완 제안 가운데 큰 묶음을 AI가 구체적인 수정 문장으로 바꾸고, 같은 사람들에게 원안과 수정안을 각각 물어 변화를 쟀습니다. 판단이 싸고 빨라서 가능한 짝지은 비교입니다.

Jev 7,500회 · 7분 4초 · $0.49

정량 패널에서 무작위로 고른 같은 1,500명에게 원안과 수정안을 각각 물었습니다(원안 찬성 쪽 확률 57%, 반대·유보 43%). 내용을 바꾸지 않는 대조 문장만 덧붙여도 평균 지지가 +0.04, 반대·유보가 -3.2%p 움직였습니다. 아래 변화는 이 대조 변화를 뺀 순효과입니다.

사건 난이도 고려

다. 전자 출퇴근 기록과 점검

[수정안] 법원장은 근태를 점검할 때 사건의 난이도와 특수성을 고려하여, 복잡한 사건을 담당하는 법관의 판단 시간이 근태 관리로 인해 위축되지 않도록 한다.AI 작성

반대·유보-3.5%p
찬성 쪽+3.5%p
평균 지지+0.03

출처 보완 제안 ‘재판 품질 저하 우려’(113명) — “근태 관리로 인해 복잡한 사건의 정밀한 판단이 시간 압박을 받지 않도록 재판 난이도별 기준을 다르게 적용했으면 합니다.”

연령대별 평균 지지 변화AI 추정

19–29세+0.02215명
30대+0.03228명
40대+0.03265명
50대+0.03306명
60대+0.04242명
70세 이상+0.02244명

가장 크게 움직인 집단: 기능원 및 관련 기능 종사자(직업군) +0.06, 단순노무 종사자(직업군) +0.06, 서비스 종사자(직업군) +0.05

업무량 점검·인력충원

라. 근태 현황 공개

[수정안] 대법원은 근태 현황을 점검할 때 법관의 사건 부담량을 함께 점검하고, 업무 과중이 확인되는 법원에는 법관 인력 충원을 검토한다.AI 작성

반대·유보-2.2%p
찬성 쪽+2.2%p
평균 지지+0.02

출처 보완 제안 ‘업무 부담 완화·인력 충원’(93명) — “법관께 과도한 업무 부담이 없는지 확인하고, 필요하면 인력 충원도 함께 검토해주길 바랍니다.”

연령대별 평균 지지 변화AI 추정

19–29세+0.02215명
30대+0.03228명
40대+0.03265명
50대+0.02306명
60대+0.01242명
70세 이상+0.01244명

가장 크게 움직인 집단: 기능원 및 관련 기능 종사자(직업군) +0.04, 판매 종사자(직업군) +0.03, 전문가 및 관련 종사자(직업군) +0.03

현장근무 폭넓게 인정

나. 법원 밖 근무 신고와 예외

[수정안] 기록 검토·판결문 작성뿐 아니라 현장 검증, 관계기관 방문 등 법관이 재판 업무상 법원 밖에서 근무해야 하는 경우를 폭넓게 인정하여 사전 신고만으로 자유롭게 근무하도록 한다.AI 작성

반대·유보+4.0%p
찬성 쪽-4.0%p
평균 지지-0.10

출처 보완 제안 ‘유연근무·개인사정 배려’(99명) — “법관들이 숨 막히지 않도록, 현장에 나가야 하는 경우들은 충분히 인정해 주면 좋겠습니다.”

연령대별 평균 지지 변화AI 추정

19–29세-0.07215명
30대-0.10228명
40대-0.11265명
50대-0.10306명
60대-0.09242명
70세 이상-0.10244명

가장 크게 움직인 집단: 관리자(직업군) -0.15, 전문가 및 관련 종사자(직업군) -0.14, 사무 종사자(직업군) -0.12

  • −0.2 이하
  • −0.2 ~ −0.05
  • ±0.05 안
  • +0.05 ~ +0.2
  • +0.2 이상
  • 30명 미만(해석 안 함)

한계: 효과가 날짜·나이 계산에 달린 수정안(예: “2031년부터 시행”)은 Jev가 잘못 읽을 수 있어, 수정 문장에는 누가 어떤 영향을 받는지를 직접 쓰게 했습니다.

LLM 응답 자기모순 점검

Jev가 LLM 패널의 이유 문장만 읽고(찬반 표시는 가린 채) 어떤 태도로 읽히는지 5단계로 판정했습니다. 인물이 스스로 붙인 찬반과 1.5단계 이상 다르면 개별 응답에 표시합니다.

Jev 400회 · $0.0071

읽은 응답
400건
LLM 패널 전체
어긋난 응답
1건
1.5단계 이상 차이
상관계수
0.76
LLM 찬반과 Jev 판독
평균 차이
0.45
5단계 척도 기준

어긋난 응답

  • “법원에 일을 봐야 할 일이 있으면 판사 분들이 제때 일을 봐주셔야 하는 거 아닙니까. 우리 같은 사람들도 법원 일이 밀리면 답답하지요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.93

판정 품질 점검

Jev의 판단을 얼마나 믿을 수 있는지 이 사례의 데이터로 쟀습니다. 선택지 순서, 질문 묶음, 같은 호출 반복, 다른 도구(LLM)와의 대조입니다.

Jev 709회 (+캐시 491회) · $0.04

선택지 순서를 뒤집어도 같은 쟁점
84%
400건 중 335건 · 확률 이동 평균 0.14
따로 물어도 같은 찬반
±0.03
300명 · 질문 40개 묶음 대비 평균 차이(5단계)
같은 호출을 다시 보내면
±0.03
100명 · 찬반 평균 차이, 소식 경로 99% 일치
직업 분류 Jev–LLM 일치
92%
직업 150개 중 138개

어떻게 보정했나

  • 쟁점 소속은 선택지를 원래 순서와 뒤집은 순서로 두 번 묻고 확률을 평균해 정했습니다. 순서만 바꿔도 같은 답의 확률이 크게 움직였고, 이 보정으로 50% 기준 판정이 바뀐 반응이 47건 나왔습니다.
  • 한 사람에게 질문 40개 안팎을 한 번에 물어도, 찬반만 따로 물은 답과 평균 0.03(최대 0.14) 차이였습니다.
  • 같은 호출을 캐시를 거치지 않고 다시 보내면 찬반이 평균 0.03(최대 0.16) 움직였습니다. 완전히 같지는 않으므로 한 사람의 값보다 집단 평균으로 읽습니다.

직업 분류가 갈린 예

직업JevLLM
검표원사무 종사자서비스 종사자
교사 교육 보조원전문가 및 관련 종사자사무 종사자
데스크 안내원서비스 종사자사무 종사자
보육교사서비스 종사자전문가 및 관련 종사자
비행기 조종사장치·기계 조작 및 조립 종사자전문가 및 관련 종사자
신용 추심원서비스 종사자사무 종사자
음식 배달원서비스 종사자단순노무 종사자
의무 기록사사무 종사자전문가 및 관련 종사자

정답 목록이 아니라 두 도구의 비교입니다. 어느 쪽이 맞는지는 사람이 확인합니다.

쟁점 소속 판정

쟁점의 이름과 요약은 LLM이 지었고, LLM 패널의 반응 하나하나가 어느 쟁점을 말하는지는 Jev가 골랐습니다. 확률 50% 이상일 때만 소속으로 인정하고, 인용문도 확률이 높은 반응부터 고릅니다. 확률은 선택지를 원래 순서와 뒤집은 순서로 물어 평균한 값입니다.

Jev 400회 · $0.02

판정한 반응
400건
LLM 패널 전체
쟁점에 소속
378건
확률 50% 이상 · 두 순서 평균
어디에도 안 속함
22건
개별 응답에서 확인
LLM 묶음과 일치
58%
원래 순서 판정 기준, 둘 다 소속을 정한 368건

실행 정보

이 사례에서 Jev가 한 판정의 수, 속도, 비용입니다.

단계판정호출1회 응답(대기 포함)입력 토큰비용(USD)단계 소요·처리 속도
정책문 점검정책문 명료성 점검9회0.73초10,895$0.0011초 · 초당 6.4건
패널 구성직업 대분류 매핑3회 +캐시 10.85초16,011$0.001321초 · 초당 0.0건
쟁점쟁점 소속 판정400회0.89초367,045$0.015145초 · 초당 5.5건
쟁점LLM 응답 자기모순 점검400회1.04초170,146$0.007
정량 점검직업 대분류 매핑17회0.98초108,214$0.004309초 · 초당 17.5건
정량 점검1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,399회1.33초18,625,308$0.782
수정안 비교수정안 비교(원안·수정안·대조)7,500회1.33초11,770,550$0.494424초 · 초당 17.7건
판정 점검쟁점 소속 두 순서 판정400회 +캐시 4001.32초367,045$0.01564초 · 초당 17.3건
판정 점검반응 관점 태그400회1.32초258,096$0.011
판정 점검묶음 질문 점검209회 +캐시 911.32초318,322$0.013
판정 점검반복 호출 점검100회1.31초344,597$0.015
공청회 읽기공청회 발언 읽기18회0.71초35,392$0.0022초 · 초당 9.5건
계획서예상 질문 우선순위600회1.33초1,082,026$0.04558초 · 초당 10.4건
합계15,455회33,473,647$1.41
  • 정책문 점검 · 정책문 명료성 점검9회 · 1회 0.73초 · 입력 10,895토큰 · $0.001 · 단계 1초(초당 6.4건)
  • 패널 구성 · 직업 대분류 매핑3회 (+캐시 1) · 1회 0.85초 · 입력 16,011토큰 · $0.001 · 단계 321초(초당 0.0건)
  • 쟁점 · 쟁점 소속 판정400회 · 1회 0.89초 · 입력 367,045토큰 · $0.015 · 단계 145초(초당 5.5건)
  • 쟁점 · LLM 응답 자기모순 점검400회 · 1회 1.04초 · 입력 170,146토큰 · $0.007
  • 정량 점검 · 직업 대분류 매핑17회 · 1회 0.98초 · 입력 108,214토큰 · $0.004 · 단계 309초(초당 17.5건)
  • 정량 점검 · 1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,399회 · 1회 1.33초 · 입력 18,625,308토큰 · $0.782
  • 수정안 비교 · 수정안 비교(원안·수정안·대조)7,500회 · 1회 1.33초 · 입력 11,770,550토큰 · $0.494 · 단계 424초(초당 17.7건)
  • 판정 점검 · 쟁점 소속 두 순서 판정400회 (+캐시 400) · 1회 1.32초 · 입력 367,045토큰 · $0.015 · 단계 64초(초당 17.3건)
  • 판정 점검 · 반응 관점 태그400회 · 1회 1.32초 · 입력 258,096토큰 · $0.011
  • 판정 점검 · 묶음 질문 점검209회 (+캐시 91) · 1회 1.32초 · 입력 318,322토큰 · $0.013
  • 판정 점검 · 반복 호출 점검100회 · 1회 1.31초 · 입력 344,597토큰 · $0.015
  • 공청회 읽기 · 공청회 발언 읽기18회 · 1회 0.71초 · 입력 35,392토큰 · $0.002 · 단계 2초(초당 9.5건)
  • 계획서 · 예상 질문 우선순위600회 · 1회 1.33초 · 입력 1,082,026토큰 · $0.045 · 단계 58초(초당 10.4건)
  • 합계15,455회 · 입력 33,473,647토큰 · $1.41

비용은 API가 돌려준 입력 토큰 수에 100만 토큰당 $0.042를 곱한 값입니다(출력은 무료). 캐시는 같은 질문을 다시 사지 않고 저장해 둔 답을 쓴 횟수이며 비용이 들지 않습니다. 1회 응답은 여러 호출을 동시에 보낼 때 서버에서 기다린 시간까지 포함합니다. 처리 속도는 단계의 Jev 호출 수를 단계 전체 시간으로 나눈 값이며, 쟁점·수정안 단계에는 LLM 호출 시간도 섞여 있습니다.

1인 1회 호출
5,399회
실패 0건
모델
jev-latest
TypeSafe System One
질문 수
35개/인
찬반·영향·참여·경로·조항 영향·조항 찬반·쟁점·방식·설명
언어
한국어 상태
질문 문장은 영어(Jev 주 언어)

Jev의 확률은 여러 사람을 묶어 볼 때 보정된 값이며, 한 사람의 답이 맞는다는 보장은 아닙니다. 한국어는 영어보다 정확도가 낮을 수 있어 집단 단위 경향으로만 읽습니다. 출처: docs.typesafe.ai