시제품이 누리집은 공식 전자정부 누리집이 아닙니다. 합성 인물 데이터로 만든 「정책 미리듣기」 시제품(POC)입니다.
새 의견수렴 설계
합성 인물(AI)의 반응입니다. 실제 여론이 아닙니다.Jev는 합성 인물에 대해 보정된 확률을 답합니다. 실제 여론이 아니며, 수치는 집단 단위로 읽습니다.
가상 정책안(가상) 국토교통부·지방자치단체

도시철도 무임승차 기준 연령 단계적 상향

  • 대표 패널 300명
  • 영향권 패널 100명
  • 실행 2026. 9. 24.
  • 생성 시간 35분 23초
  • 모델 haiku · sonnet

공개 논의(노인 연령 기준·무임수송 손실)를 바탕으로 시제품 시연용으로 작성한 가상 정책안입니다. 정부가 발표한 정책이 아닙니다.

5,000명에게 확률로 다시 물었습니다

TypeSafe의 Jev는 문장을 쓰지 않고, 정해 둔 질문에 보정된(calibrated) 확률로 답하는 판단 모델(System One)입니다. 대표 패널과 같은 방식(시도×연령대×성별 층화)으로 뽑은 5,000명과 LLM 패널 400명에게 한 사람당 한 번씩, 아래 질문을 한꺼번에 물었습니다.

  • 찬반 5단계 점수 — How would this person react to the policy?
  • 직접 영향 예·아니오 확률 — 이 정책이 이 사람의 일·일상·지출을 직접 바꾸는가
  • 조항별 영향 조항 6개 각각에 대한 예·아니오 확률
  • 참여 가능성 공식 의견수렴(입법예고 의견, 공청회)에 스스로 의견을 낼 확률
  • 소식 경로 이런 소식을 주로 접하는 곳(10개 중 하나)
  • 조항별 찬반 조항마다 반대·중립·찬성 3단계 점수
  • 쟁점 공감 LLM 패널에서 나온 쟁점 7개 각각을 이 사람도 제기할 확률
  • 참여 방식 설명회, 경로당·마을 방문, 문자 설문, 전화, 직장·단체, 입법예고 의견 여섯 가지 각각에 실제로 참여할 확률
  • 설명 필요 조항 의견을 내기 전에 설명이 가장 필요한 조항, 원문만으로 이해할 확률

질문을 10개에서 31개로 늘려도 한 번 호출에 걸리는 시간은 0.3~1.3초로 같았고, 늘어나는 것은 입력 토큰(비용)뿐이었습니다. 그래서 한 사람에게 필요한 판단을 한 번에 모두 묻습니다.

Jev 5,398회 · $0.72 · 한 사람당 한 번, 질문을 모두 담아

정량 패널
5,000명
층화 추출
찬성 쪽 확률
47%
찬성+강한 찬성
반대·유보
53%
반대·중립
평균 지지
+0.32
95% 구간 +0.31 ~ +0.33

찬반 확률 분포

사람마다 받은 5단계 확률을 평균한 값입니다. 한 사람의 답 하나가 아니라 확률의 합입니다.

Jev 정량 패널5,000명
강한 반대 1% · 반대 16% · 중립 36% · 찬성 43% · 강한 찬성 4%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성

같은 사람, 두 도구

LLM 패널 사람들에게 LLM은 한 사람당 답 하나를 뽑았고, Jev는 같은 사람들에게 확률 분포를 줬습니다. LLM이 한쪽으로 쏠리는지 여기서 확인합니다.

LLM400명 · 한 번씩 답함
강한 반대 0% · 반대 38% · 중립 38% · 찬성 24% · 강한 찬성 0%
Jev같은 400명 · 확률
강한 반대 1% · 반대 17% · 중립 33% · 찬성 44% · 강한 찬성 4%
  • 강한 반대
  • 반대
  • 중립
  • 찬성
  • 강한 찬성
LLM 찬성 비율
24%
찬성·강한 찬성으로 답한 사람
Jev 찬성 쪽 확률
48%
같은 사람들의 평균
차이
-25%p
LLM − Jev
상관계수
0.34
사람별 LLM 답과 Jev 기댓값

조항별 찬반 지도

조항마다 반대(−1)·중립(0)·찬성(+1) 확률을 물어 기댓값을 칸에 적었습니다. 빨강 쪽일수록 그 집단이 그 조항에 반대할 가능성이 큽니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경+0.25+0.21+0.29+0.30+0.29+0.18+0.20
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…+0.07+0.20+0.23+0.20+0.14-0.36+0.06
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.+0.53+0.36+0.46+0.49+0.50+0.62+0.71
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.+0.46+0.35+0.46+0.46+0.48+0.49+0.48
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …+0.63+0.50+0.60+0.62+0.63+0.68+0.73
3. 기대 효과+0.39+0.32+0.42+0.42+0.41+0.32+0.45
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

직업군

조항전체관리자93명전문가 및 관련 종사자581명사무 종사자595명서비스 종사자717명판매 종사자220명기능원 및 관련 기능 종사자250명장치·기계 조작 및 조립 종사자384명단순노무 종사자141명군인42명무직·기타1,973명
1. 추진 배경+0.25+0.40+0.35+0.33+0.20+0.25+0.23+0.28+0.16+0.33+0.20
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…+0.07+0.28+0.25+0.220.00+0.09+0.06+0.11-0.07+0.25-0.01
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.+0.53+0.49+0.50+0.47+0.55+0.48+0.45+0.44+0.52+0.48+0.57
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.+0.46+0.54+0.52+0.50+0.44+0.44+0.41+0.43+0.38+0.48+0.45
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …+0.63+0.63+0.64+0.62+0.65+0.59+0.57+0.58+0.64+0.64+0.65
3. 기대 효과+0.39+0.52+0.49+0.47+0.34+0.37+0.33+0.36+0.27+0.47+0.37
  • −0.5 이하(반대 쪽)
  • −0.5 ~ −0.15
  • −0.15 ~ +0.15
  • +0.15 ~ +0.5
  • +0.5 이상(찬성 쪽)

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(4명)

조항별 반대·중립·찬성 확률(전체 5,000명)

가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…
반대 18% · 중립 56% · 찬성 26%
1. 추진 배경
반대 5% · 중립 65% · 찬성 30%
3. 기대 효과
반대 4% · 중립 54% · 찬성 43%
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.
반대 3% · 중립 48% · 찬성 49%
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.
반대 2% · 중립 43% · 찬성 55%
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …
반대 0.4% · 중립 36% · 찬성 63%
  • 반대
  • 중립
  • 찬성

조항별 영향 지도

칸의 숫자는 그 집단 사람들이 해당 조항의 직접 영향을 받는다고 Jev가 본 확률의 평균입니다. 인용 기반 쟁점 지도와 달리 모든 사람·모든 조항을 빠짐없이 봅니다.

연령대

조항전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
1. 추진 배경21%10%11%12%15%35%41%
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…18%6%8%9%12%46%25%
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.19%6%9%10%13%35%42%
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.14%5%7%8%10%42%10%
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …15%7%9%11%14%22%25%
3. 기대 효과25%19%22%22%23%30%31%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

권역

조항전체수도권2,530명충청권542명호남권481명대경권486명동남권746명강원150명제주65명
1. 추진 배경21%20%21%22%22%22%21%21%
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…18%18%17%17%19%20%16%16%
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.19%18%19%21%21%20%20%18%
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.14%14%13%14%14%15%13%12%
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …15%11%19%23%18%15%29%22%
3. 기대 효과25%24%24%25%25%25%25%25%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

조항전체관리자93명전문가 및 관련 종사자581명사무 종사자595명서비스 종사자717명판매 종사자220명기능원 및 관련 기능 종사자250명장치·기계 조작 및 조립 종사자384명단순노무 종사자141명군인42명무직·기타1,973명
1. 추진 배경21%15%14%15%21%18%18%17%25%12%26%
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…18%13%11%12%19%16%17%16%23%9%22%
나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.19%12%11%12%19%15%15%14%23%9%26%
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.14%9%9%10%16%13%13%14%19%8%16%
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …15%11%10%11%16%13%13%14%23%12%17%
3. 기대 효과25%23%22%23%25%24%24%24%26%19%26%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(4명)

쟁점 확산도

LLM 패널 400명의 반응에서 나온 쟁점을 대표 5,000명에게 되물었습니다. 칸의 숫자는 그 집단 사람들이 그 쟁점을 제기할 확률의 평균입니다(한 사람이 여러 쟁점에 공감할 수 있습니다).

연령대

쟁점전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
당장 임박한 무임 박탈 반발36%25%30%31%34%62%30%
당사자 아니지만 세대갈등 우려61%68%70%70%67%51%41%
도시철도 없는 지역 버스 지원 기대40%35%39%40%40%40%44%
저소득층·형평성 설계 우려54%45%51%54%56%62%54%
운영기관 재정·현장 실행 우려29%22%29%32%32%30%26%
고령층의 세대 불공정 서운함42%35%39%40%41%48%48%
기초연금 형평성·재정 균형 지지53%44%52%54%54%55%56%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

쟁점전체관리자93명전문가 및 관련 종사자581명사무 종사자595명서비스 종사자717명판매 종사자220명기능원 및 관련 기능 종사자250명장치·기계 조작 및 조립 종사자384명단순노무 종사자141명군인42명무직·기타1,973명
당장 임박한 무임 박탈 반발36%36%34%33%37%35%35%36%39%33%37%
당사자 아니지만 세대갈등 우려61%68%70%69%60%64%63%63%54%68%56%
도시철도 없는 지역 버스 지원 기대40%40%40%40%39%37%38%40%44%44%40%
저소득층·형평성 설계 우려54%53%53%52%55%53%51%51%57%48%55%
운영기관 재정·현장 실행 우려29%36%31%33%27%28%29%35%29%33%26%
고령층의 세대 불공정 서운함42%42%41%40%42%40%39%39%41%40%44%
기초연금 형평성·재정 균형 지지53%57%55%56%52%52%50%51%50%54%52%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(4명)

시도별 지도

정량 패널을 사는 곳(시도)으로 묶었습니다. 30명 미만 시도는 해석하지 않습니다.

직접 영향 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

반대·유보 확률

  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상
  • 30명 미만(해석 안 함)

30명 이상인 시도 사이의 차이는 직접 영향 최대 5.3%p, 반대·유보 최대 7.1%p입니다. 색 구간 경계 근처의 작은 차이로 색이 갈릴 수 있으니 칸의 숫자를 함께 봅니다.

집단별 평균 지지 (Jev)

0을 기준으로 왼쪽은 반대, 오른쪽은 찬성 쪽입니다. 30명 미만 집단은 회색으로 두고 해석하지 않습니다.

연령대

19–29세+0.33728
30대+0.37748
40대+0.36878
50대+0.35994
60대+0.02893
70세 이상+0.54759

권역

수도권+0.332530
충청권+0.32542
호남권+0.32481
대경권+0.30486
동남권+0.31746
강원+0.32150
제주+0.3365

성별

남자+0.312478
여자+0.332522

학력

무학+0.43121
초등학교+0.31431
중학교+0.18427
고등학교+0.261659
2~3년제 전문대학+0.32686
4년제 대학교+0.411429
대학원+0.44247

주거 형태

아파트+0.333123
단독주택+0.30832
다세대주택+0.32555
연립주택+0.31140
비주거용 건물 내 주택+0.3050
주택 이외의 거처+0.28300

가구

1인 가구+0.27842
부부+0.30999
부부+자녀+0.341479
한부모·자녀+0.26248
부모 등과 동거+0.34770
기타+0.36662

직업군

관리자+0.4393
전문가 및 관련 종사자+0.43581
사무 종사자+0.41595
서비스 종사자+0.26717
판매 종사자+0.28220
농림어업 숙련 종사자+0.344
기능원 및 관련 기능 종사자+0.26250
장치·기계 조작 및 조립 종사자+0.28384
단순노무 종사자+0.13141
군인+0.4442
무직·기타+0.311973

회색은 30명 미만이라 해석하지 않습니다.

직접 영향과 참여 가능성

직접 영향 확률이 높은데 스스로 의견 낼 확률이 낮은 집단이 ‘찾아가 들어야 할 집단’의 후보입니다.

직업군

집단인원직접 영향 확률스스로 의견 낼 확률
관리자9316%28%
전문가 및 관련 종사자58115%27%
사무 종사자59516%25%
서비스 종사자71722%25%
판매 종사자22019%24%
농림어업 숙련 종사자420%22%
기능원 및 관련 기능 종사자25019%23%
장치·기계 조작 및 조립 종사자38421%24%
단순노무 종사자14126%23%
군인4213%24%
무직·기타197324%28%

연령대

집단인원직접 영향 확률스스로 의견 낼 확률
19–29세72812%20%
30대74814%23%
40대87814%25%
50대99415%27%
60대89342%32%
70세 이상75926%29%

참여 방식별 참여 확률

여섯 가지 의견수렴 방식 각각에 초대받으면 실제로 참여할 확률입니다. 찾아갈 집단 카드와 계획서의 접촉 방법은 이 숫자를 근거로 삼습니다.

전체 5,000명

10분 전화 인터뷰52%
경로당·마을 모임 방문 청취50%
주민센터 설명회·공청회(평일 저녁)42%
직장·노조·협회를 통한 간담회42%
문자로 받는 짧은 온라인 설문39%
입법예고 누리집 의견 쓰기35%

연령대

방식전체19–29세728명30대748명40대878명50대994명60대893명70세 이상759명
10분 전화 인터뷰52%52%50%49%51%55%57%
경로당·마을 모임 방문 청취50%35%41%47%52%59%62%
주민센터 설명회·공청회(평일 저녁)42%32%37%41%44%48%47%
직장·노조·협회를 통한 간담회42%39%48%50%49%36%26%
문자로 받는 짧은 온라인 설문39%42%42%41%40%38%34%
입법예고 누리집 의견 쓰기35%33%35%35%36%37%33%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

직업군

방식전체관리자93명전문가 및 관련 종사자581명사무 종사자595명서비스 종사자717명판매 종사자220명기능원 및 관련 기능 종사자250명장치·기계 조작 및 조립 종사자384명단순노무 종사자141명군인42명무직·기타1,973명
10분 전화 인터뷰52%50%51%51%52%50%47%48%49%49%55%
경로당·마을 모임 방문 청취50%46%42%45%51%48%47%46%53%45%54%
주민센터 설명회·공청회(평일 저녁)42%42%40%40%41%39%38%38%39%39%45%
직장·노조·협회를 통한 간담회42%60%57%57%51%50%52%57%49%64%22%
문자로 받는 짧은 온라인 설문39%42%44%43%38%40%36%37%33%41%39%
입법예고 누리집 의견 쓰기35%38%40%37%32%34%30%32%27%35%36%
  • 20% 미만
  • 20~35%
  • 35~50%
  • 50~65%
  • 65% 이상

30명 미만이라 뺀 집단: 농림어업 숙련 종사자(4명)

설명이 필요한 조항

의견을 내기 전에 설명이 가장 필요한 조항을 하나씩 고르게 한 확률의 평균입니다. 설명자료와 공청회 순서를 정할 때 씁니다.

가장 설명이 필요한 조항

나. 기초연금 수급자는 기준 연령이 올라가도 65세부터 무임승차를 계속 받는다.38%
라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …30%
가. 도시철도 경로우대 무임승차 기준 연령을 2027년 66세부터 2년마다 1세씩 올…22%
다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.7%
1. 추진 배경1%
3. 기대 효과1%

원문만으로 자기에게 무엇이 바뀌는지 이해할 확률

전체 45%

무학(121명)51%
초등학교(431명)59%
중학교(427명)57%
고등학교(1,659명)45%
2~3년제 전문대학(686명)39%
4년제 대학교(1,429명)41%
대학원(247명)43%

소식을 접하는 경로

이런 정책 소식을 주로 어디서 접하는지 Jev가 고른 곳의 비율입니다.

뉴스·유튜브·TV55%
주민센터·행정복지센터 안내나 반상회17%
경로당·노인복지관16%
동네 단톡방·이웃 입소문8%
노동조합·직장 공지2%
종교 모임1%
온라인 커뮤니티·카페1%
직능단체·협회·조합0.4%
학교·학부모 모임0.1%

수정안 비교

LLM 패널이 낸 보완 제안 가운데 큰 묶음을 AI가 구체적인 수정 문장으로 바꾸고, 같은 사람들에게 원안과 수정안을 각각 물어 변화를 쟀습니다. 판단이 싸고 빨라서 가능한 짝지은 비교입니다.

Jev 7,500회 · 9분 31초 · $0.37

정량 패널에서 무작위로 고른 같은 1,500명에게 원안과 수정안을 각각 물었습니다(원안 찬성 쪽 확률 47%, 반대·유보 53%). 내용을 바꾸지 않는 대조 문장만 덧붙여도 평균 지지가 -0.02, 반대·유보가 +0.6%p 움직였습니다. 아래 변화는 이 대조 변화를 뺀 순효과입니다.

버스 지원 시행 공지

라. 도시철도가 없는 지역의 어르신을 위해 시내버스 요금 지원 사업을 지방자치단체와 …

[수정안] 도시철도가 없는 지역의 시내버스 요금 지원 사업은 확대 시기와 지원 규모를 지방자치단체와 함께 정해 주민에게 미리 공지한다.AI 작성

반대·유보-6.7%p
찬성 쪽+6.7%p
평균 지지+0.12

출처 보완 제안 ‘도시철도 미보유 지역 버스 지원’(141명) — “동해처럼 도시철도가 없는 지역의 버스 요금 지원이 실제로 언제부터 얼마나 확대될 예정인지 구체적으로 공지해주면 좋겠습니다.”

연령대별 평균 지지 변화AI 추정

19–29세+0.07215명
30대+0.10228명
40대+0.12265명
50대+0.11306명
60대+0.19242명
70세 이상+0.13244명

가장 크게 움직인 집단: 60대(연령대) +0.19, 호남권(권역) +0.16, 강원(권역) +0.16

저소득 노인 추가 할인

다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.

[수정안] 기초연금을 받지 못하는 65~69세 어르신 중 저소득층은 50%보다 더 큰 폭으로 도시철도 요금을 할인받는다.AI 작성

반대·유보-3.9%p
찬성 쪽+3.9%p
평균 지지+0.09

출처 보완 제안 ‘기초연금 비수급 노인 추가 배려’(149명) — “기초연금도 받지 못하는 어르신들을 위해서 할인폭을 더 크게 봐주셨으면 좋겠습니다.”

연령대별 평균 지지 변화AI 추정

19–29세+0.02215명
30대+0.06228명
40대+0.07265명
50대+0.05306명
60대+0.27242명
70세 이상+0.09244명

가장 크게 움직인 집단: 60대(연령대) +0.27, 단순노무 종사자(직업군) +0.14, 서비스 종사자(직업군) +0.11

할인 효과·대상 재검토

다. 무임승차 대상에서 빠지는 65~69세에게는 도시철도 요금을 50% 할인한다.

[수정안] 65~69세에 대한 50% 할인이 실제 생활에 도움이 되는지 점검하고, 저소득 노인과 일반 노인에게 다른 할인율을 적용하는 방안을 검토한다.AI 작성

반대·유보-0.9%p
찬성 쪽+0.9%p
평균 지지+0.03

출처 보완 제안 ‘65~69세 할인 실효성·데이터 검증’(31명) — “65~69세 할인이 실제로 생활에 도움이 될 수 있을 정도의 폭이 되는지 확인하고, 저소득 노인과 일반 노인을 구분하는 방안도 고려했으면 좋겠어요.”

연령대별 평균 지지 변화AI 추정

19–29세-0.01215명
30대0.00228명
40대+0.01265명
50대+0.01306명
60대+0.14242명
70세 이상+0.04244명

가장 크게 움직인 집단: 60대(연령대) +0.14, 무직·기타(직업군) +0.06, 동남권(권역) +0.05

  • −0.2 이하
  • −0.2 ~ −0.05
  • ±0.05 안
  • +0.05 ~ +0.2
  • +0.2 이상
  • 30명 미만(해석 안 함)

한계: 효과가 날짜·나이 계산에 달린 수정안(예: “2031년부터 시행”)은 Jev가 잘못 읽을 수 있어, 수정 문장에는 누가 어떤 영향을 받는지를 직접 쓰게 했습니다.

LLM 응답 자기모순 점검

Jev가 LLM 패널의 이유 문장만 읽고(찬반 표시는 가린 채) 어떤 태도로 읽히는지 5단계로 판정했습니다. 인물이 스스로 붙인 찬반과 1.5단계 이상 다르면 개별 응답에 표시합니다.

Jev 400회 · $0.0073

읽은 응답
400건
LLM 패널 전체
어긋난 응답
6건
1.5단계 이상 차이
상관계수
0.85
LLM 찬반과 Jev 판독
평균 차이
0.38
5단계 척도 기준

어긋난 응답

  • “엄마가 65세 이상이시고 광주에서 자주 이동하시는데, 도시철도가 없는 지역 버스 지원이 확대되면 엄마 교통비 부담이 줄어들 것 같습니다. 다만 연령 기준을 올리는 것까지 찬성하는 건 아니고요.”

    인물이 붙인 찬반 찬성 · Jev 판독 -1.04
  • “고양시 같은 경기 지역에서 버스가 얼마나 중요한지 아는데요, 저희 할머니도 도시철도보다는 버스를 더 많이 이용하시거든요. 다만 경로우대를 갑자기 줄이는 게 형평성이라고 표현하는 부분이 조금 미안하긴 합니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.69
  • “우리 부산 같은 지역에서 버스가 주요 발이잖아요. 도시철도 없는 곳 어르신들까지 챙기는 게 맞다고 봅니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.66
  • “일상에서 기초연금 신청을 도와주는 입장에서 보면, 어르신들 생활비 부담을 덜어주려는 취지는 좋은데, 실제로 저소득층과 일반 노인 사이의 격차가 더 벌어질 수 있겠다는 생각은 듭니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.64
  • “우리 부모님도 나중에 저 나이가 되실 텐데, 무조건 무임으로 주는 것보다 능력에 따라 차등을 두는 게 맞다고 봐요. 기초연금 받으시는 분들은 봐드리고, 여유 있는 어르신들은 50% 정도 내는 게 공정한 것 같습니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.57
  • “저희 동네에도 어르신들이 많으신데, 기초연금 받으시는 분들은 계속 혜택을 받으시니까 그나마 괜찮겠더라고요. 다만 65~69세 분들이 요금을 내야 한다니 그분들이 좀 불편하실 것 같긴 합니다.”

    인물이 붙인 찬반 찬성 · Jev 판독 -0.56

판정 품질 점검

Jev의 판단을 얼마나 믿을 수 있는지 이 사례의 데이터로 쟀습니다. 선택지 순서, 질문 묶음, 같은 호출 반복, 다른 도구(LLM)와의 대조입니다.

Jev 1,200회 · $0.06

선택지 순서를 뒤집어도 같은 쟁점
90%
400건 중 360건 · 확률 이동 평균 0.07
따로 물어도 같은 찬반
±0.04
300명 · 질문 40개 묶음 대비 평균 차이(5단계)
같은 호출을 다시 보내면
±0.04
100명 · 찬반 평균 차이, 소식 경로 92% 일치
직업 분류 Jev–LLM 일치
93%
직업 150개 중 139개

어떻게 보정했나

  • 쟁점 소속은 선택지를 원래 순서와 뒤집은 순서로 두 번 묻고 확률을 평균해 정했습니다. 순서만 바꿔도 같은 답의 확률이 크게 움직였고, 이 보정으로 50% 기준 판정이 바뀐 반응이 20건 나왔습니다.
  • 한 사람에게 질문 40개 안팎을 한 번에 물어도, 찬반만 따로 물은 답과 평균 0.04(최대 0.22) 차이였습니다.
  • 같은 호출을 캐시를 거치지 않고 다시 보내면 찬반이 평균 0.04(최대 0.19) 움직였습니다. 완전히 같지는 않으므로 한 사람의 값보다 집단 평균으로 읽습니다.

직업 분류가 갈린 예

직업JevLLM
건물 청소원서비스 종사자단순노무 종사자
검표원사무 종사자서비스 종사자
교사 교육 보조원전문가 및 관련 종사자사무 종사자
데스크 안내원서비스 종사자사무 종사자
보육교사서비스 종사자전문가 및 관련 종사자
비행기 조종사장치·기계 조작 및 조립 종사자전문가 및 관련 종사자
신용 추심원서비스 종사자사무 종사자
음식 배달원서비스 종사자단순노무 종사자

정답 목록이 아니라 두 도구의 비교입니다. 어느 쪽이 맞는지는 사람이 확인합니다.

쟁점 소속 판정

쟁점의 이름과 요약은 LLM이 지었고, LLM 패널의 반응 하나하나가 어느 쟁점을 말하는지는 Jev가 골랐습니다. 확률 50% 이상일 때만 소속으로 인정하고, 인용문도 확률이 높은 반응부터 고릅니다. 확률은 선택지를 원래 순서와 뒤집은 순서로 물어 평균한 값입니다.

Jev 400회 · $0.02

판정한 반응
400건
LLM 패널 전체
쟁점에 소속
349건
확률 50% 이상 · 두 순서 평균
어디에도 안 속함
51건
개별 응답에서 확인
LLM 묶음과 일치
68%
원래 순서 판정 기준, 둘 다 소속을 정한 348건

실행 정보

이 사례에서 Jev가 한 판정의 수, 속도, 비용입니다.

단계판정호출1회 응답(대기 포함)입력 토큰비용(USD)단계 소요·처리 속도
쟁점쟁점 소속 판정400회1.66초373,634$0.016134초 · 초당 6.0건
쟁점LLM 응답 자기모순 점검400회1.33초173,353$0.007
정량 점검직업 대분류 매핑17회1.64초108,214$0.004569초 · 초당 9.5건
정량 점검1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,398회2.45초17,202,282$0.723
수정안 비교수정안 비교(원안·수정안·대조)7,500회1.79초8,832,050$0.371571초 · 초당 13.1건
계획서예상 질문 우선순위600회1.37초866,026$0.03647초 · 초당 12.8건
정책문 점검정책문 명료성 점검7회0.74초5,645$0.0002초 · 초당 4.7건
판정 점검쟁점 소속 두 순서 판정800회1.35초747,268$0.031110초 · 초당 14.6건
판정 점검반응 관점 태그400회1.36초261,967$0.011
판정 점검묶음 질문 점검300회1.83초340,535$0.014
판정 점검반복 호출 점검100회1.31초318,297$0.013
공청회 읽기공청회 발언 읽기18회1.97초37,657$0.0025초 · 초당 3.3건
합계15,940회29,266,928$1.23
  • 쟁점 · 쟁점 소속 판정400회 · 1회 1.66초 · 입력 373,634토큰 · $0.016 · 단계 134초(초당 6.0건)
  • 쟁점 · LLM 응답 자기모순 점검400회 · 1회 1.33초 · 입력 173,353토큰 · $0.007
  • 정량 점검 · 직업 대분류 매핑17회 · 1회 1.64초 · 입력 108,214토큰 · $0.004 · 단계 569초(초당 9.5건)
  • 정량 점검 · 1인 1회 판정(찬반·영향·조항·쟁점·참여 방식)5,398회 · 1회 2.45초 · 입력 17,202,282토큰 · $0.723
  • 수정안 비교 · 수정안 비교(원안·수정안·대조)7,500회 · 1회 1.79초 · 입력 8,832,050토큰 · $0.371 · 단계 571초(초당 13.1건)
  • 계획서 · 예상 질문 우선순위600회 · 1회 1.37초 · 입력 866,026토큰 · $0.036 · 단계 47초(초당 12.8건)
  • 정책문 점검 · 정책문 명료성 점검7회 · 1회 0.74초 · 입력 5,645토큰 · $0.000 · 단계 2초(초당 4.7건)
  • 판정 점검 · 쟁점 소속 두 순서 판정800회 · 1회 1.35초 · 입력 747,268토큰 · $0.031 · 단계 110초(초당 14.6건)
  • 판정 점검 · 반응 관점 태그400회 · 1회 1.36초 · 입력 261,967토큰 · $0.011
  • 판정 점검 · 묶음 질문 점검300회 · 1회 1.83초 · 입력 340,535토큰 · $0.014
  • 판정 점검 · 반복 호출 점검100회 · 1회 1.31초 · 입력 318,297토큰 · $0.013
  • 공청회 읽기 · 공청회 발언 읽기18회 · 1회 1.97초 · 입력 37,657토큰 · $0.002 · 단계 5초(초당 3.3건)
  • 합계15,940회 · 입력 29,266,928토큰 · $1.23

비용은 API가 돌려준 입력 토큰 수에 100만 토큰당 $0.042를 곱한 값입니다(출력은 무료). 캐시는 같은 질문을 다시 사지 않고 저장해 둔 답을 쓴 횟수이며 비용이 들지 않습니다. 1회 응답은 여러 호출을 동시에 보낼 때 서버에서 기다린 시간까지 포함합니다. 처리 속도는 단계의 Jev 호출 수를 단계 전체 시간으로 나눈 값이며, 쟁점·수정안 단계에는 LLM 호출 시간도 섞여 있습니다.

1인 1회 호출
5,398회
실패 0건
모델
jev-latest
TypeSafe System One
질문 수
31개/인
찬반·영향·참여·경로·조항 영향·조항 찬반·쟁점·방식·설명
언어
한국어 상태
질문 문장은 영어(Jev 주 언어)

Jev의 확률은 여러 사람을 묶어 볼 때 보정된 값이며, 한 사람의 답이 맞는다는 보장은 아닙니다. 한국어는 영어보다 정확도가 낮을 수 있어 집단 단위 경향으로만 읽습니다. 출처: docs.typesafe.ai