시제품이 누리집은 공식 전자정부 누리집이 아닙니다. 합성 인물 데이터로 만든 「정책 미리듣기」 시제품(POC)입니다.
3분 시연
합성 인물(AI)의 반응입니다. 실제 여론이 아닙니다.Jev는 합성 인물에 대해 보정된 확률을 답합니다. 실제 여론이 아니며, 수치는 집단 단위로 읽습니다.
정책 방향(공개 발언 정리)(검토 중) 정부·지방정부

다문화가족 지원 유지·우선권 재검토

  • 대표 패널 300명
  • 영향권 패널 100명
  • 실행 2026. 11. 7.
  • 생성 시간 24분 9초
  • 모델 haiku · sonnet

이재명 대통령의 X 게시글(2026-10-28, 10-29, 10-30, 11-01)에서 밝힌 검토 방향을 시제품 시연용으로 정책안 형식에 맞춰 정리한 것입니다. 정부가 확정해 발표한 정책안이 아니며, 세부 항목(소득 기준 적용 등)은 정리 과정에서 구체화한 가정입니다.

5,000명에게 확률로 다시 물었습니다

TypeSafe의 Jev는 문장을 쓰지 않고, 정해 둔 질문에 보정된(calibrated) 확률로 답하는 판단 모델(System One)입니다. 대표 패널과 같은 방식(시도×연령대×성별 층화)으로 뽑은 5,000명과 LLM 패널 400명에게 한 사람당 한 번씩, 아래 질문을 한꺼번에 물었습니다.

  • 찬반 5단계 점수 — How would this person react to the policy?
  • 직접 영향 예·아니오 확률 — 이 정책이 이 사람의 일·일상·지출을 직접 바꾸는가
  • 조항별 영향 조항 5개 각각에 대한 예·아니오 확률
  • 참여 가능성 공식 의견수렴(입법예고 의견, 공청회)에 스스로 의견을 낼 확률
  • 소식 경로 이런 소식을 주로 접하는 곳(10개 중 하나)
  • 조항별 찬반 조항마다 반대·중립·찬성 3단계 점수
  • 쟁점 공감 LLM 패널에서 나온 쟁점 7개 각각을 이 사람도 제기할 확률
  • 참여 방식 설명회, 경로당·마을 방문, 문자 설문, 전화, 직장·단체, 입법예고 의견 여섯 가지 각각에 실제로 참여할 확률
  • 설명 필요 조항 의견을 내기 전에 설명이 가장 필요한 조항, 원문만으로 이해할 확률

질문을 10개에서 31개로 늘려도 한 번 호출에 걸리는 시간은 0.3~1.3초로 같았고, 늘어나는 것은 입력 토큰(비용)뿐이었습니다. 그래서 한 사람에게 필요한 판단을 한 번에 모두 묻습니다.

Jev 5,398회 · $0.66 · 한 사람당 한 번, 질문을 모두 담아

정량 패널
5,000명
층화 추출
찬성 쪽 확률
65%
찬성+강한 찬성
반대·유보
35%
반대·중립
평균 지지
+0.61
95% 구간 +0.61 ~ +0.62

찬반 확률 분포

사람마다 받은 5단계 확률을 평균한 값입니다. 한 사람의 답 하나가 아니라 확률의 합입니다.

Jev 정량 패널5,000명
강한 반대 0.2% · 반대 11% · 중립 24% · 찬성 57% · 강한 찬성 8%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성

같은 사람, 두 도구

LLM 패널 사람들에게 LLM은 한 사람당 답 하나를 뽑았고, Jev는 같은 사람들에게 확률 분포를 줬습니다. LLM이 한쪽으로 쏠리는지 여기서 확인합니다.

LLM400명 · 한 번씩 답함
강한 반대 0% · 반대 1% · 중립 0% · 찬성 99% · 강한 찬성 0%
Jev같은 400명 · 확률
강한 반대 0.3% · 반대 12% · 중립 22% · 찬성 56% · 강한 찬성 9%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성
LLM 찬성 비율
99%
찬성·강한 찬성으로 답한 사람
Jev 찬성 쪽 확률
65%
같은 사람들의 평균
차이
34%p
LLM − Jev
상관계수
0.02
사람별 LLM 답과 Jev 기댓값

조항별 찬반 지도

조항마다 반대(−1)·중립(0)·찬성(+1) 확률을 물어 기댓값을 칸에 적었습니다. 빨강 쪽일수록 그 집단이 그 조항에 반대할 가능성이 큽니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경+0.44+0.38+0.46+0.48+0.47+0.45+0.41
가. 적응 지원 유지·확대+0.47+0.37+0.47+0.49+0.50+0.49+0.45
나. 일률 우선권 재검토+0.67+0.60+0.68+0.70+0.70+0.68+0.64
다. 형편 기준으로 정리+0.72+0.64+0.72+0.74+0.75+0.73+0.70
3. 기대 효과+0.62+0.54+0.63+0.65+0.65+0.64+0.62
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

직업군

조항전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
1. 추진 배경+0.44+0.53+0.53+0.49+0.44+0.43+0.39+0.40+0.37+0.45+0.43
가. 적응 지원 유지·확대+0.47+0.61+0.60+0.52+0.48+0.43+0.37+0.38+0.34+0.51+0.45
나. 일률 우선권 재검토+0.67+0.75+0.74+0.72+0.65+0.67+0.66+0.68+0.64+0.70+0.64
다. 형편 기준으로 정리+0.72+0.77+0.76+0.75+0.72+0.73+0.72+0.73+0.73+0.72+0.69
3. 기대 효과+0.62+0.70+0.69+0.66+0.62+0.61+0.58+0.59+0.58+0.64+0.61
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

조항별 반대·중립·찬성 확률(전체 5,000명)

1. 추진 배경
반대 2% · 중립 51% · 찬성 47%
나. 일률 우선권 재검토
반대 2% · 중립 30% · 찬성 69%
3. 기대 효과
반대 1% · 중립 35% · 찬성 64%
다. 형편 기준으로 정리
반대 1% · 중립 26% · 찬성 73%
가. 적응 지원 유지·확대
반대 0.3% · 중립 53% · 찬성 47%
  • 반대
  • 중립
  • 찬성

조항별 영향 지도

칸의 숫자는 그 집단 사람들이 해당 조항의 직접 영향을 받는다고 Jev가 본 확률의 평균입니다. 인용 기반 쟁점 지도와 달리 모든 사람·모든 조항을 빠짐없이 봅니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경16%14%18%19%17%15%12%
가. 적응 지원 유지·확대9%8%11%10%9%8%7%
나. 일률 우선권 재검토13%11%16%16%14%12%9%
다. 형편 기준으로 정리27%21%28%31%29%26%24%
3. 기대 효과23%21%25%27%25%22%19%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

권역

조항전체수도권2,530명충청권542명호남권481명대경권486명동남권746명강원150명제주65명
1. 추진 배경16%16%15%16%15%15%15%17%
가. 적응 지원 유지·확대9%9%9%9%9%9%9%10%
나. 일률 우선권 재검토13%13%13%13%13%13%13%14%
다. 형편 기준으로 정리27%27%26%27%27%27%26%28%
3. 기대 효과23%24%23%23%23%23%22%24%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

조항전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
1. 추진 배경16%18%16%18%17%16%16%16%16%16%14%
가. 적응 지원 유지·확대9%10%10%10%10%9%8%8%8%9%8%
나. 일률 우선권 재검토13%16%15%16%15%14%13%13%13%14%11%
다. 형편 기준으로 정리27%26%23%26%28%29%27%28%34%24%27%
3. 기대 효과23%24%23%25%25%25%24%24%25%21%22%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

쟁점 확산도

LLM 패널 400명의 반응에서 나온 쟁점을 대표 5,000명에게 되물었습니다. 칸의 숫자는 그 집단 사람들이 그 쟁점을 제기할 확률의 평균입니다(한 사람이 여러 쟁점에 공감할 수 있습니다).

연령대

쟁점전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
형편 기준 단일화의 공정성72%68%72%74%74%74%71%
출신만으로 주는 우선권의 역차별69%63%69%71%72%71%67%
동네 갈등과 편 가르기 우려70%64%68%70%71%72%72%
소득 기준 설계·확인의 모호함62%56%63%64%65%64%61%
한국어·적응 지원 유지 요청48%42%50%51%51%49%45%
어린이집 대기 순번 밀림62%51%62%66%66%64%59%
한부모·빠듯한 가정의 사각지대49%42%49%53%53%51%48%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

쟁점전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
형편 기준 단일화의 공정성72%75%74%74%73%73%72%72%73%74%71%
출신만으로 주는 우선권의 역차별69%74%72%72%68%70%69%70%68%72%67%
동네 갈등과 편 가르기 우려70%70%68%69%71%70%68%68%70%67%71%
소득 기준 설계·확인의 모호함62%67%65%66%62%63%59%60%61%65%61%
한국어·적응 지원 유지 요청48%55%54%51%49%47%42%43%44%48%48%
어린이집 대기 순번 밀림62%67%65%65%63%63%62%62%62%63%59%
한부모·빠듯한 가정의 사각지대49%50%49%49%53%51%46%47%54%47%49%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

시도별 지도

정량 패널을 사는 곳(시도)으로 묶었습니다. 30명 미만 시도는 해석하지 않습니다.

직접 영향 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

반대·유보 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

30명 이상인 시도 사이의 차이는 직접 영향 최대 2.2%p, 반대·유보 최대 7.9%p입니다. 색 구간 경계 근처의 작은 차이로 색이 갈릴 수 있으니 칸의 숫자를 함께 봅니다.

집단별 평균 지지 (Jev)

0을 기준으로 왼쪽은 반대, 오른쪽은 찬성 쪽입니다. 30명 미만 집단은 회색으로 두고 해석하지 않습니다.

연령대

19–29세+0.56728
30대+0.66748
40대+0.66878
50대+0.65994
60대+0.58893
70세 이상+0.54759

권역

수도권+0.622530
충청권+0.61542
호남권+0.60481
대경권+0.58486
동남권+0.60746
강원+0.62150
제주+0.6465

성별

남자+0.602478
여자+0.632522

학력

무학+0.47121
초등학교+0.51431
중학교+0.54427
고등학교+0.571659
2~3년제 전문대학+0.59686
4년제 대학교+0.701429
대학원+0.75247

주거 형태

아파트+0.623123
단독주택+0.59832
다세대주택+0.61555
연립주택+0.63140
비주거용 건물 내 주택+0.5750
주택 이외의 거처+0.61300

가구

1인 가구+0.57842
부부+0.60999
부부+자녀+0.651479
한부모·자녀+0.70248
부모 등과 동거+0.58770
기타+0.59662

직업군

관리자+0.7093
전문가 및 관련 종사자+0.76572
사무 종사자+0.71603
서비스 종사자+0.63634
판매 종사자+0.59220
농림어업 숙련 종사자+0.5113
기능원 및 관련 기능 종사자+0.60256
장치·기계 조작 및 조립 종사자+0.61384
단순노무 종사자+0.59204
군인+0.6545
무직·기타+0.531976

회색은 30명 미만이라 해석하지 않습니다.

직접 영향과 참여 가능성

직접 영향 확률이 높은데 스스로 의견 낼 확률이 낮은 집단이 ‘찾아가 들어야 할 집단’의 후보입니다.

직업군

집단인원직접 영향 확률스스로 의견 낼 확률
관리자9311%34%
전문가 및 관련 종사자57211%34%
사무 종사자60313%31%
서비스 종사자63412%27%
판매 종사자22010%27%
농림어업 숙련 종사자139%19%
기능원 및 관련 기능 종사자25610%24%
장치·기계 조작 및 조립 종사자38410%25%
단순노무 종사자20410%22%
군인4510%29%
무직·기타197610%28%

연령대

집단인원직접 영향 확률스스로 의견 낼 확률
19–29세72810%25%
30대74812%30%
40대87812%31%
50대99411%30%
60대89310%29%
70세 이상7599%24%

참여 방식별 참여 확률

여섯 가지 의견수렴 방식 각각에 초대받으면 실제로 참여할 확률입니다. 찾아갈 집단 카드와 계획서의 접촉 방법은 이 숫자를 근거로 삼습니다.

전체 5,000명

10분 전화 인터뷰58%
경로당·마을 모임 방문 청취54%
주민센터 설명회·공청회(평일 저녁)46%
직장·노조·협회를 통한 간담회45%
문자로 받는 짧은 온라인 설문43%
입법예고 누리집 의견 쓰기37%

연령대

방식전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
10분 전화 인터뷰58%58%58%58%59%59%57%
경로당·마을 모임 방문 청취54%41%47%52%57%61%63%
주민센터 설명회·공청회(평일 저녁)46%40%44%46%48%50%45%
직장·노조·협회를 통한 간담회45%43%52%53%51%40%30%
문자로 받는 짧은 온라인 설문43%50%49%46%43%39%33%
입법예고 누리집 의견 쓰기37%37%41%40%38%36%29%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

방식전체관리자93명전문가 및 관련 종사자572명사무 종사자603명서비스 종사자634명판매 종사자220명기능원 및 관련 기능 종사자256명장치·기계 조작 및 조립 종사자384명단순노무 종사자204명군인45명무직·기타1,976명
10분 전화 인터뷰58%57%58%59%59%58%55%56%56%57%59%
경로당·마을 모임 방문 청취54%52%48%50%55%53%52%51%56%50%57%
주민센터 설명회·공청회(평일 저녁)46%47%46%45%46%44%42%42%42%45%48%
직장·노조·협회를 통한 간담회45%64%60%59%54%53%54%57%52%64%27%
문자로 받는 짧은 온라인 설문43%47%49%48%43%45%41%41%36%45%41%
입법예고 누리집 의견 쓰기37%42%44%41%34%36%32%33%28%39%36%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(13명)

설명이 필요한 조항

의견을 내기 전에 설명이 가장 필요한 조항을 하나씩 고르게 한 확률의 평균입니다. 설명자료와 공청회 순서를 정할 때 씁니다.

가장 설명이 필요한 조항

나. 일률 우선권 재검토63%
다. 형편 기준으로 정리29%
1. 추진 배경6%
가. 적응 지원 유지·확대2%
3. 기대 효과1%

원문만으로 자기에게 무엇이 바뀌는지 이해할 확률

전체 29%

무학(121명)24%
초등학교(431명)26%
중학교(427명)28%
고등학교(1,659명)29%
2~3년제 전문대학(686명)29%
4년제 대학교(1,429명)30%
대학원(247명)31%

소식을 접하는 경로

이런 정책 소식을 주로 어디서 접하는지 Jev가 고른 곳의 비율입니다.

뉴스·유튜브·TV56%
주민센터·행정복지센터 안내나 반상회23%
동네 단톡방·이웃 입소문9%
경로당·노인복지관8%
학교·학부모 모임1%
종교 모임1%
온라인 커뮤니티·카페1%
노동조합·직장 공지0.3%
직능단체·협회·조합0.2%

수정안 비교

LLM 패널이 낸 보완 제안 가운데 큰 묶음을 AI가 구체적인 수정 문장으로 바꾸고, 같은 사람들에게 원안과 수정안을 각각 물어 변화를 쟀습니다. 판단이 싸고 빨라서 가능한 짝지은 비교입니다.

Jev 7,500회 · 7분 2초 · $0.44

정량 패널에서 무작위로 고른 같은 1,500명에게 원안과 수정안을 각각 물었습니다(원안 찬성 쪽 확률 65%, 반대·유보 35%). 내용을 바꾸지 않는 대조 문장만 덧붙여도 평균 지지가 -0.01, 반대·유보가 +0.8%p 움직였습니다. 아래 변화는 이 대조 변화를 뺀 순효과입니다.

소득 기준·심사 공개

다. 형편 기준으로 정리

[수정안] 다문화가정과 내국인 가정에 똑같이 적용하는 소득 등 우선 지원 기준표와 심사 과정을 공개하여, 누가 왜 지원받는지 알 수 있게 한다.AI 작성

반대·유보-6.1%p
찬성 쪽+6.1%p
평균 지지+0.10

출처 보완 제안 ‘소득 기준·심사 과정 공개’(79명) — “다문화든 내국인이든 소득 같은 기준표를 공개해서 누가 왜 지원받는지 알 수 있게 해 주세요.”

연령대별 평균 지지 변화AI 추정

19–29세+0.11215명
30대+0.11228명
40대+0.10265명
50대+0.09306명
60대+0.08242명
70세 이상+0.10244명

가장 크게 움직인 집단: 전문가 및 관련 종사자(직업군) +0.11, 서비스 종사자(직업군) +0.11, 19–29세(연령대) +0.11

형편 기준으로 통일

다. 형편 기준으로 정리

[수정안] 다문화가정이라는 이유만으로 일률 우선하지 않고, 다문화가정과 내국인 가정 모두 같은 소득 기준에 따라 도움이 필요한 가정부터 우선 지원한다.AI 작성

반대·유보-5.1%p
찬성 쪽+5.1%p
평균 지지+0.12

출처 보완 제안 ‘다문화 여부 대신 형편 기준 통일’(92명) — “다문화가정이라는 이유로 일률 우선하지 말고, 내국인 가정과 같은 소득 기준으로 도움이 필요한 집부터 챙겨 주시면 좋겠어요.”

연령대별 평균 지지 변화AI 추정

19–29세+0.12215명
30대+0.12228명
40대+0.12265명
50대+0.12306명
60대+0.11242명
70세 이상+0.11244명

가장 크게 움직인 집단: 전문가 및 관련 종사자(직업군) +0.14, 관리자(직업군) +0.13, 사무 종사자(직업군) +0.13

적응 지원 비축소 명시

가. 적응 지원 유지·확대

[수정안] 소득 같은 형편 기준을 적용하더라도 다문화가정의 한국어 교육과 자녀 이중언어 교육 지원은 줄이지 않고 유지하며, 이 방침을 적용 기준과 함께 구체적으로 공개한다.AI 작성

반대·유보+1.9%p
찬성 쪽-1.9%p
평균 지지-0.02

출처 보완 제안 ‘한국어·이중언어 등 적응 지원 유지’(120명) — “소득 같은 형편 기준을 적용하되 한국어와 자녀 이중언어 지원은 줄이지 않는다는 점을 기준과 함께 구체적으로 공개해 주세요.”

연령대별 평균 지지 변화AI 추정

19–29세-0.02215명
30대-0.02228명
40대-0.01265명
50대-0.02306명
60대-0.03242명
70세 이상-0.03244명

가장 크게 움직인 집단: 단순노무 종사자(직업군) -0.07, 장치·기계 조작 및 조립 종사자(직업군) -0.05, 기능원 및 관련 기능 종사자(직업군) -0.04

  • −0.2 이하
  • −0.2 ~ −0.05
  • ±0.05 안
  • +0.05 ~ +0.2
  • +0.2 이상
  • 30명 미만(해석 안 함)

한계: 효과가 날짜·나이 계산에 달린 수정안(예: “2031년부터 시행”)은 Jev가 잘못 읽을 수 있어, 수정 문장에는 누가 어떤 영향을 받는지를 직접 쓰게 했습니다.

LLM 응답 자기모순 점검

Jev가 LLM 패널의 이유 문장만 읽고(찬반 표시는 가린 채) 어떤 태도로 읽히는지 5단계로 판정했습니다. 인물이 스스로 붙인 찬반과 1.5단계 이상 다르면 개별 응답에 표시합니다.

Jev 400회 · $0.0073

읽은 응답
400건
LLM 패널 전체
어긋난 응답
113건
1.5단계 이상 차이
상관계수
0.14
LLM 찬반과 Jev 판독
평균 차이
1.02
5단계 척도 기준

어긋난 응답 (상위 30건)

  • “가게에서도 저울은 누구한테나 똑같이 달아야 장사가 되는 법이지요. 집이 어려운지는 살림 형편을 보고 가려야지, 다문화라고 먼저 주고 내국인은 뒤로 미루면 동네 사람들 속이 상하지 않겠습니까.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.52
  • “학교에서 다문화 학생들을 가르쳐 보면 어려운 아이는 집안 형편이 어려운 아이더라고요. 출신으로 기준을 달리 두는 건 채점표를 학생 이름 보고 고치는 것과 같지요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.28
  • “형편이 어려운 집은 다문화든 아니든 같은 기준으로 도와주는 게 맞다고 봅니다. 이유 하나로 줄을 앞당기면 창고 선반 순서를 함부로 바꾼 것처럼 다른 집 불만이 쌓이니, 기준을 하나로 맞추는 쪽이 낫겠습니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.27
  • “영등포에서 집 구하러 다니다 보면 어린이집 자리 때문에 속상해하는 젊은 엄마들을 많이 봤지요. 집안 형편을 보고 나눠 주는 게 맞지, 가정 종류만으로 줄을 앞세우는 건 사람들 마음을 상하게 하더라고요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.26
  • “도면은 누구한테나 같은 치수로 그어야 맞지요. 다문화가정이라고 무조건 앞세우면 옆집 내국인 가정이 억울하지 않겠습니까.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.18
  • “동네에서 아이들 공부를 봐주다 보면 어느 집 아이든 형편이 어려우면 먼저 챙겨야 한다고 생각하지요. 출신으로 줄을 세우면 옆집 사람들끼리 괜히 말이 나더라고요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.14
  • “현장에서 기준 없이 줄을 세우면 나중에 민원만 쌓인다고 봅니다. 집안 형편이 어려우면 다문화든 아니든 같은 잣대로 도와주는 게 맞다고 생각합니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.13
  • “저는 혼자 살고 제 생활에 직접 걸린 정책은 아니어서 체감은 크지 않습니다. 다만 집안 형편이나 소득이 같은데 출신 배경으로 자동 가점을 주면, 시스템 설계에서 조건을 하드코딩한 것과 같아 예외가 쌓이고 결국 신뢰가 깨진다고 봅니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.10
  • “우리 마을에도 형편 어려운 집이 많아서, 다문화라는 이름만 보고 먼저 주면 말이 나올 수밖에 없지요. 형편 따져서 똑같이 봐야 한다고 봅니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.09
  • “저는 미혼이라 어린이집이나 산후조리원은 당장 제 일이 아닙니다. 그래도 같은 조건의 시료를 두고 한쪽만 가점을 주면 결과를 믿기 어려운 것처럼, 형편이 같으면 같은 기준으로 보는 게 맞다고 봅니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.08
  • “이유만으로 무조건 앞순서를 주면 우리 같은 집은 장사 셈이 안 맞는 것처럼 손해 본 기분이 들 것 같아요. 형편이 어려운 집이면 다문화든 아니든 같은 기준으로 도와주는 게 맞다고 생각해요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.08
  • “다문화가정 쪽 사정은 제가 잘 아는 게 아니라서 조심스럽긴 한데요, 도움이 필요한 집이 기준 없이 '다문화라서' 앞번호를 받는 건 좀 아니다 싶거든요. 공정도 조건 하나로 결과를 보정하기보다 같은 기준으로 맞춰야 하는 거잖아요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.07
  • “동네에도 형편이 어려운 집이 여럿인데, 이유 하나로 먼저 챙겨 주면 다른 집은 서운하지요. 형편 보고 고르게 나눠 주는 게 맞다고 봐요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.07
  • “공장에서도 실력과 형편으로 일을 나눠야 뒷말이 안 나지요. 이유만으로 무조건 먼저 챙겨주면 나머지 사람들이 속으로 불만이 쌓이더라고요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.06
  • “같은 조건이면 같은 기준으로 봐야 공평하잖아요. 다문화라는 이유만으로 먼저 주면, 저처럼 평범하게 라인 돌리는 사람은 뒤에서 기다리는 기분이 들거든요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.06
  • “이유 없이 무조건 앞에 세워주는 건 좀 아니다 싶어요. 저도 알바 구하거나 면접 볼 때 같은 조건이면 공평하게 봐줬으면 하거든요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.05
  • “차 몰고 다니며 보니 정말 어려운 집이 먼저 도움받아야 맞지요. 그런데 나라에서 집 사정은 안 보고 그냥 다문화라서 먼저 준다는 건 좀 아니다 싶어요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.05
  • “영업하면서 계약 조건이 다들 똑같아야 믿고 사인하거든요. 이름 때문에 먼저 받고 형편이 비슷해도 밀리면 나중에 반드시 뒷말이 나와요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.05
  • “다문화 집이라고 무조건 먼저 주면 옆집 사람들이 서운해하고 말이 많아져요. 형편이 어려운 집이면 누구든 같이 봐주는 게 맞지요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.05
  • “다문화 가정이 힘든 건 알겠는데, 이유 하나로 무조건 앞번호를 주면 장부가 안 맞잖아요. 형편을 같은 기준으로 보는 게 공평하다고 생각해요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.03
  • “다문화 집이라고 무조건 먼저 챙겨주는 건 좀 아니지요. 어려운 집은 어디 집이든 형편 보고 도와주는 게 맞다고 봐요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.00
  • “사무실에서 전표 맞추듯 보면 결국 기준은 형편이라고 생각합니다. 같은 소득이면 다문화든 내국인이든 똑같이 챙겨 주는 게 맞다고 봅니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.99
  • “취지는 이해하는데요, 우리 아이 어린이집 알아볼 때 대기 순번이 밀리는 걸 보니 가점이 기준 없이 주어지면 억울한 사람이 생길 것 같거든요. 원단 재단할 때 같은 치수 잣대를 대듯이 형편은 누구에게나 같은 기준으로 봐야죠.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.98
  • “장부 맞출 때도 기준이 하나여야 탈이 없어요. 형편 따라 도와주는 건 찬성이지만, 가족 구성 이유만으로 줄을 앞에 세우면 뒤에 선 사람들이 가만있겠어요?”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.98
  • “기관사 일을 오래 해보니 열차도 특정 칸만 먼저 보내지 않고 같은 기준으로 운행하더라고요. 도움이 필요한 집은 다문화든 아니든 형편을 보고 똑같이 챙기는 게 맞지요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.98
  • “병원에서 중증도 따라 우선순위를 정하는 게 제 일이거든요. 그래서 우선권은 다문화냐 아니냐보다 형편이 기준이어야 맞는 것 같아요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.97
  • “기계도 같은 조건에서 같은 부품을 돌려야 공정이 맞는 법인데, 이유 하나만으로 먼저 주고 들어가면 옆 라인에서 보기에 공평해 보이지는 않겠지요. 형편이 어려운 집을 먼저 챙기는 건 맞다고 봅니다만, 그 기준은 다문화든 아니든 소득이어야 한다고 생각하더라고요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.96
  • “짐도 한쪽으로 쏠리면 차가 기우뚱하잖아요. 같은 무게면 같은 기준으로 나눠야 다들 덜 억울하지요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.96
  • “말씀은 이해가 가는데요, 다문화냐 아니냐보다 형편이 어려운 집이 먼저 받는 게 맞다고 봐요. 경비 서면서 보면 애 키우는 집 사정은 다 힘든 건 똑같거든요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.95
  • “솔직히 저는 이 정책을 자세히 아는 건 아니에요. 그래도 어린이집 자리가 한정돼 있는데 가정 형편 말고 이유 하나로 앞자리를 주면 저희 같은 맞벌이 집은 손해 보는 느낌이 드는 게 사실이에요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.93

판정 품질 점검

Jev의 판단을 얼마나 믿을 수 있는지 이 사례의 데이터로 쟀습니다. 선택지 순서, 질문 묶음, 같은 호출 반복, 다른 도구(LLM)와의 대조입니다.

Jev 709회 (+캐시 491회) · $0.04

선택지 순서를 뒤집어도 같은 쟁점
83%
400건 중 330건 · 확률 이동 평균 0.14
따로 물어도 같은 찬반
±0.03
300명 · 질문 40개 묶음 대비 평균 차이(5단계)
같은 호출을 다시 보내면
±0.03
100명 · 찬반 평균 차이, 소식 경로 93% 일치
직업 분류 Jev–LLM 일치
92%
직업 150개 중 138개

어떻게 보정했나

  • 쟁점 소속은 선택지를 원래 순서와 뒤집은 순서로 두 번 묻고 확률을 평균해 정했습니다. 순서만 바꿔도 같은 답의 확률이 크게 움직였고, 이 보정으로 50% 기준 판정이 바뀐 반응이 48건 나왔습니다.
  • 한 사람에게 질문 40개 안팎을 한 번에 물어도, 찬반만 따로 물은 답과 평균 0.03(최대 0.12) 차이였습니다.
  • 같은 호출을 캐시를 거치지 않고 다시 보내면 찬반이 평균 0.03(최대 0.13) 움직였습니다. 완전히 같지는 않으므로 한 사람의 값보다 집단 평균으로 읽습니다.

직업 분류가 갈린 예

직업JevLLM
검표원사무 종사자서비스 종사자
교사 교육 보조원전문가 및 관련 종사자사무 종사자
데스크 안내원서비스 종사자사무 종사자
보육교사서비스 종사자전문가 및 관련 종사자
비행기 조종사장치·기계 조작 및 조립 종사자전문가 및 관련 종사자
신용 추심원서비스 종사자사무 종사자
음식 배달원서비스 종사자단순노무 종사자
의무 기록사사무 종사자전문가 및 관련 종사자

정답 목록이 아니라 두 도구의 비교입니다. 어느 쪽이 맞는지는 사람이 확인합니다.

쟁점 소속 판정

쟁점의 이름과 요약은 LLM이 지었고, LLM 패널의 반응 하나하나가 어느 쟁점을 말하는지는 Jev가 골랐습니다. 확률 50% 이상일 때만 소속으로 인정하고, 인용문도 확률이 높은 반응부터 고릅니다. 확률은 선택지를 원래 순서와 뒤집은 순서로 물어 평균한 값입니다.

Jev 400회 · $0.02

판정한 반응
400건
LLM 패널 전체
쟁점에 소속
343건
확률 50% 이상 · 두 순서 평균
어디에도 안 속함
57건
개별 응답에서 확인
LLM 묶음과 일치
61%
원래 순서 판정 기준, 둘 다 소속을 정한 353건

실행 정보

이 사례에서 Jev가 한 판정의 수, 속도, 비용입니다.

단계판정호출1회 응답(대기 포함)입력 토큰비용(USD)단계 소요·처리 속도
정책문 점검정책문 명료성 점검6회0.32초6,187$0.0001초 · 초당 6.0건
패널 구성직업 대분류 매핑4회0.40초23,252$0.001141초 · 초당 0.0건
쟁점쟁점 소속 판정400회0.88초361,709$0.015105초 · 초당 7.6건
쟁점LLM 응답 자기모순 점검400회0.88초174,543$0.007
정량 점검직업 대분류 매핑0회 +캐시 170.00초0$0.000306초 · 초당 17.6건
정량 점검1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,398회1.33초15,799,044$0.664
수정안 비교수정안 비교(원안·수정안·대조)7,500회1.33초10,408,550$0.437422초 · 초당 17.8건
판정 점검쟁점 소속 두 순서 판정400회 +캐시 4001.30초361,709$0.01563초 · 초당 17.7건
판정 점검반응 관점 태그400회1.31초261,803$0.011
판정 점검묶음 질문 점검209회 +캐시 911.28초280,702$0.012
판정 점검반복 호출 점검100회1.22초292,297$0.012
공청회 읽기공청회 발언 읽기18회0.44초39,130$0.0021초 · 초당 15.0건
계획서예상 질문 우선순위600회1.31초940,426$0.04042초 · 초당 14.2건
합계15,435회28,949,352$1.22
  • 정책문 점검 · 정책문 명료성 점검6회 · 1회 0.32초 · 입력 6,187토큰 · $0.000 · 단계 1초(초당 6.0건)
  • 패널 구성 · 직업 대분류 매핑4회 · 1회 0.40초 · 입력 23,252토큰 · $0.001 · 단계 141초(초당 0.0건)
  • 쟁점 · 쟁점 소속 판정400회 · 1회 0.88초 · 입력 361,709토큰 · $0.015 · 단계 105초(초당 7.6건)
  • 쟁점 · LLM 응답 자기모순 점검400회 · 1회 0.88초 · 입력 174,543토큰 · $0.007
  • 정량 점검 · 직업 대분류 매핑0회 (+캐시 17) · 1회 0.00초 · 입력 0토큰 · $0.000 · 단계 306초(초당 17.6건)
  • 정량 점검 · 1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,398회 · 1회 1.33초 · 입력 15,799,044토큰 · $0.664
  • 수정안 비교 · 수정안 비교(원안·수정안·대조)7,500회 · 1회 1.33초 · 입력 10,408,550토큰 · $0.437 · 단계 422초(초당 17.8건)
  • 판정 점검 · 쟁점 소속 두 순서 판정400회 (+캐시 400) · 1회 1.30초 · 입력 361,709토큰 · $0.015 · 단계 63초(초당 17.7건)
  • 판정 점검 · 반응 관점 태그400회 · 1회 1.31초 · 입력 261,803토큰 · $0.011
  • 판정 점검 · 묶음 질문 점검209회 (+캐시 91) · 1회 1.28초 · 입력 280,702토큰 · $0.012
  • 판정 점검 · 반복 호출 점검100회 · 1회 1.22초 · 입력 292,297토큰 · $0.012
  • 공청회 읽기 · 공청회 발언 읽기18회 · 1회 0.44초 · 입력 39,130토큰 · $0.002 · 단계 1초(초당 15.0건)
  • 계획서 · 예상 질문 우선순위600회 · 1회 1.31초 · 입력 940,426토큰 · $0.040 · 단계 42초(초당 14.2건)
  • 합계15,435회 · 입력 28,949,352토큰 · $1.22

비용은 API가 돌려준 입력 토큰 수에 100만 토큰당 $0.042를 곱한 값입니다(출력은 무료). 캐시는 같은 질문을 다시 사지 않고 저장해 둔 답을 쓴 횟수이며 비용이 들지 않습니다. 1회 응답은 여러 호출을 동시에 보낼 때 서버에서 기다린 시간까지 포함합니다. 처리 속도는 단계의 Jev 호출 수를 단계 전체 시간으로 나눈 값이며, 쟁점·수정안 단계에는 LLM 호출 시간도 섞여 있습니다.

1인 1회 호출
5,398회
실패 0건
모델
jev-latest
TypeSafe System One
질문 수
29개/인
찬반·영향·참여·경로·조항 영향·조항 찬반·쟁점·방식·설명
언어
한국어 상태
질문 문장은 영어(Jev 주 언어)

Jev의 확률은 여러 사람을 묶어 볼 때 보정된 값이며, 한 사람의 답이 맞는다는 보장은 아닙니다. 한국어는 영어보다 정확도가 낮을 수 있어 집단 단위 경향으로만 읽습니다. 출처: docs.typesafe.ai