TypeSafe의 Jev는 문장을 쓰지 않고, 정해 둔 질문에 보정된(calibrated) 확률로 답하는 판단 모델(System One)입니다. 대표 패널과 같은 방식(시도×연령대×성별 층화)으로 뽑은 5,000명과 LLM 패널 400명에게 한 사람당 한 번씩, 아래 질문을 한꺼번에 물었습니다.
How would this person react to the policy?질문을 10개에서 31개로 늘려도 한 번 호출에 걸리는 시간은 0.3~1.3초로 같았고, 늘어나는 것은 입력 토큰(비용)뿐이었습니다. 그래서 한 사람에게 필요한 판단을 한 번에 모두 묻습니다.
Jev 5,399회 · $0.61 · 한 사람당 한 번, 질문을 모두 담아
사람마다 받은 5단계 확률을 평균한 값입니다. 한 사람의 답 하나가 아니라 확률의 합입니다.
LLM 패널 사람들에게 LLM은 한 사람당 답 하나를 뽑았고, Jev는 같은 사람들에게 확률 분포를 줬습니다. LLM이 한쪽으로 쏠리는지 여기서 확인합니다.
조항마다 반대(−1)·중립(0)·찬성(+1) 확률을 물어 기댓값을 칸에 적었습니다. 빨강 쪽일수록 그 집단이 그 조항에 반대할 가능성이 큽니다.
| 조항 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 1. 목적 | +0.30 | +0.22 | +0.25 | +0.27 | +0.30 | +0.34 | +0.38 |
| 2. 대상 지역 | +0.03 | +0.01 | +0.02 | +0.02 | +0.03 | +0.03 | +0.05 |
| 3. 지급 대상 | +0.14 | +0.09 | +0.10 | +0.12 | +0.14 | +0.18 | +0.21 |
| 4. 지급 방식 | +0.15 | +0.10 | +0.10 | +0.12 | +0.15 | +0.20 | +0.23 |
| 5. 기간 | +0.06 | +0.04 | +0.05 | +0.06 | +0.06 | +0.07 | +0.09 |
| 조항 | 전체 | 관리자93명 | 전문가 및 관련 종사자573명 | 사무 종사자603명 | 서비스 종사자718명 | 판매 종사자218명 | 기능원 및 관련 기능 종사자252명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자129명 | 군인43명 | 무직·기타1,975명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. 목적 | +0.30 | +0.28 | +0.28 | +0.28 | +0.30 | +0.23 | +0.23 | +0.24 | +0.31 | +0.30 | +0.33 |
| 2. 대상 지역 | +0.03 | +0.03 | +0.04 | +0.04 | +0.03 | 0.00 | +0.01 | +0.01 | +0.03 | +0.07 | +0.03 |
| 3. 지급 대상 | +0.14 | +0.10 | +0.11 | +0.13 | +0.14 | +0.09 | +0.11 | +0.11 | +0.18 | +0.17 | +0.16 |
| 4. 지급 방식 | +0.15 | +0.07 | +0.07 | +0.11 | +0.17 | +0.11 | +0.12 | +0.12 | +0.23 | +0.12 | +0.19 |
| 5. 기간 | +0.06 | +0.06 | +0.05 | +0.06 | +0.06 | +0.05 | +0.05 | +0.05 | +0.07 | +0.07 | +0.07 |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
칸의 숫자는 그 집단 사람들이 해당 조항의 직접 영향을 받는다고 Jev가 본 확률의 평균입니다. 인용 기반 쟁점 지도와 달리 모든 사람·모든 조항을 빠짐없이 봅니다.
| 조항 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 1. 목적 | 15% | 13% | 13% | 13% | 15% | 17% | 20% |
| 2. 대상 지역 | 15% | 13% | 13% | 13% | 15% | 17% | 20% |
| 3. 지급 대상 | 23% | 19% | 19% | 19% | 22% | 26% | 30% |
| 4. 지급 방식 | 11% | 9% | 9% | 9% | 11% | 12% | 14% |
| 5. 기간 | 17% | 15% | 14% | 14% | 16% | 19% | 21% |
| 조항 | 전체 | 수도권2,530명 | 충청권542명 | 호남권481명 | 대경권486명 | 동남권746명 | 강원150명 | 제주65명 |
|---|---|---|---|---|---|---|---|---|
| 1. 목적 | 15% | 9% | 22% | 29% | 20% | 14% | 33% | 17% |
| 2. 대상 지역 | 15% | 9% | 21% | 29% | 20% | 14% | 33% | 19% |
| 3. 지급 대상 | 23% | 16% | 30% | 38% | 28% | 22% | 44% | 29% |
| 4. 지급 방식 | 11% | 6% | 16% | 22% | 14% | 10% | 23% | 12% |
| 5. 기간 | 17% | 11% | 24% | 30% | 22% | 16% | 35% | 19% |
| 조항 | 전체 | 관리자93명 | 전문가 및 관련 종사자573명 | 사무 종사자603명 | 서비스 종사자718명 | 판매 종사자218명 | 기능원 및 관련 기능 종사자252명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자129명 | 군인43명 | 무직·기타1,975명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. 목적 | 15% | 12% | 12% | 14% | 16% | 13% | 15% | 15% | 21% | 17% | 16% |
| 2. 대상 지역 | 15% | 12% | 12% | 14% | 16% | 13% | 15% | 15% | 20% | 19% | 16% |
| 3. 지급 대상 | 23% | 16% | 17% | 20% | 24% | 20% | 23% | 23% | 30% | 28% | 24% |
| 4. 지급 방식 | 11% | 8% | 8% | 10% | 12% | 9% | 11% | 11% | 15% | 14% | 11% |
| 5. 기간 | 17% | 13% | 13% | 15% | 17% | 14% | 17% | 17% | 22% | 20% | 18% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
LLM 패널 400명의 반응에서 나온 쟁점을 대표 5,000명에게 되물었습니다. 칸의 숫자는 그 집단 사람들이 그 쟁점을 제기할 확률의 평균입니다(한 사람이 여러 쟁점에 공감할 수 있습니다).
| 쟁점 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 비대상 지역 주민의 무관심 | 67% | 68% | 69% | 69% | 67% | 66% | 63% |
| 대상 지역 거주 수혜자의 생활 보탬 | 28% | 22% | 25% | 27% | 29% | 31% | 34% |
| 형평성·지역 선정 기준 논란 | 53% | 51% | 53% | 54% | 54% | 53% | 51% |
| 농어촌 소멸 위기 공감 | 56% | 54% | 56% | 57% | 57% | 57% | 58% |
| 지원금 실효성 의문 | 48% | 47% | 50% | 50% | 49% | 47% | 46% |
| 재정·사업 지속가능성 | 39% | 36% | 40% | 41% | 41% | 40% | 39% |
| 실거주 확인 등 행정 절차 | 51% | 46% | 51% | 52% | 52% | 53% | 53% |
| 쟁점 | 전체 | 관리자93명 | 전문가 및 관련 종사자573명 | 사무 종사자603명 | 서비스 종사자718명 | 판매 종사자218명 | 기능원 및 관련 기능 종사자252명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자129명 | 군인43명 | 무직·기타1,975명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 비대상 지역 주민의 무관심 | 67% | 70% | 69% | 68% | 66% | 69% | 67% | 67% | 63% | 62% | 66% |
| 대상 지역 거주 수혜자의 생활 보탬 | 28% | 28% | 26% | 27% | 29% | 27% | 27% | 27% | 32% | 28% | 30% |
| 형평성·지역 선정 기준 논란 | 53% | 53% | 52% | 53% | 53% | 54% | 53% | 54% | 55% | 47% | 52% |
| 농어촌 소멸 위기 공감 | 56% | 56% | 58% | 57% | 56% | 55% | 54% | 55% | 56% | 57% | 57% |
| 지원금 실효성 의문 | 48% | 54% | 54% | 51% | 45% | 48% | 47% | 48% | 47% | 49% | 47% |
| 재정·사업 지속가능성 | 39% | 43% | 42% | 42% | 38% | 39% | 38% | 39% | 38% | 40% | 39% |
| 실거주 확인 등 행정 절차 | 51% | 54% | 52% | 55% | 49% | 50% | 49% | 49% | 53% | 54% | 51% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
정량 패널을 사는 곳(시도)으로 묶었습니다. 30명 미만 시도는 해석하지 않습니다.
30명 이상인 시도 사이의 차이는 직접 영향 최대 21.7%p, 반대·유보 최대 53.3%p입니다. 색 구간 경계 근처의 작은 차이로 색이 갈릴 수 있으니 칸의 숫자를 함께 봅니다.
0을 기준으로 왼쪽은 반대, 오른쪽은 찬성 쪽입니다. 30명 미만 집단은 회색으로 두고 해석하지 않습니다.
회색은 30명 미만이라 해석하지 않습니다.
직접 영향 확률이 높은데 스스로 의견 낼 확률이 낮은 집단이 ‘찾아가 들어야 할 집단’의 후보입니다.
| 집단 | 인원 | 직접 영향 확률 | 스스로 의견 낼 확률 |
|---|---|---|---|
| 관리자 | 93 | 6% | 21% |
| 전문가 및 관련 종사자 | 573 | 6% | 21% |
| 사무 종사자 | 603 | 7% | 20% |
| 서비스 종사자 | 718 | 9% | 19% |
| 판매 종사자 | 218 | 7% | 20% |
| 농림어업 숙련 종사자 | 12 | 18% | 20% |
| 기능원 및 관련 기능 종사자 | 252 | 8% | 19% |
| 장치·기계 조작 및 조립 종사자 | 384 | 8% | 19% |
| 단순노무 종사자 | 129 | 11% | 18% |
| 군인 | 43 | 10% | 20% |
| 무직·기타 | 1975 | 9% | 21% |
| 집단 | 인원 | 직접 영향 확률 | 스스로 의견 낼 확률 |
|---|---|---|---|
| 19–29세 | 728 | 7% | 18% |
| 30대 | 748 | 7% | 20% |
| 40대 | 878 | 7% | 21% |
| 50대 | 994 | 8% | 21% |
| 60대 | 893 | 9% | 22% |
| 70세 이상 | 759 | 11% | 20% |
여섯 가지 의견수렴 방식 각각에 초대받으면 실제로 참여할 확률입니다. 찾아갈 집단 카드와 계획서의 접촉 방법은 이 숫자를 근거로 삼습니다.
| 방식 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 10분 전화 인터뷰 | 48% | 45% | 44% | 46% | 49% | 53% | 53% |
| 경로당·마을 모임 방문 청취 | 48% | 37% | 40% | 45% | 50% | 55% | 57% |
| 직장·노조·협회를 통한 간담회 | 43% | 39% | 49% | 50% | 49% | 37% | 29% |
| 문자로 받는 짧은 온라인 설문 | 40% | 43% | 42% | 41% | 41% | 38% | 34% |
| 주민센터 설명회·공청회(평일 저녁) | 40% | 33% | 36% | 39% | 42% | 44% | 42% |
| 입법예고 누리집 의견 쓰기 | 28% | 29% | 30% | 29% | 29% | 28% | 25% |
| 방식 | 전체 | 관리자93명 | 전문가 및 관련 종사자573명 | 사무 종사자603명 | 서비스 종사자718명 | 판매 종사자218명 | 기능원 및 관련 기능 종사자252명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자129명 | 군인43명 | 무직·기타1,975명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 10분 전화 인터뷰 | 48% | 43% | 44% | 46% | 49% | 47% | 46% | 46% | 50% | 45% | 51% |
| 경로당·마을 모임 방문 청취 | 48% | 42% | 40% | 44% | 50% | 46% | 47% | 46% | 52% | 43% | 51% |
| 직장·노조·협회를 통한 간담회 | 43% | 59% | 56% | 56% | 50% | 50% | 52% | 55% | 51% | 60% | 25% |
| 문자로 받는 짧은 온라인 설문 | 40% | 40% | 41% | 42% | 40% | 40% | 39% | 39% | 38% | 41% | 39% |
| 주민센터 설명회·공청회(평일 저녁) | 40% | 37% | 37% | 38% | 40% | 38% | 38% | 38% | 40% | 38% | 42% |
| 입법예고 누리집 의견 쓰기 | 28% | 31% | 32% | 31% | 26% | 27% | 25% | 26% | 23% | 30% | 29% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
의견을 내기 전에 설명이 가장 필요한 조항을 하나씩 고르게 한 확률의 평균입니다. 설명자료와 공청회 순서를 정할 때 씁니다.
전체 48%
이런 정책 소식을 주로 어디서 접하는지 Jev가 고른 곳의 비율입니다.
LLM 패널이 낸 보완 제안 가운데 큰 묶음을 AI가 구체적인 수정 문장으로 바꾸고, 같은 사람들에게 원안과 수정안을 각각 물어 변화를 쟀습니다. 판단이 싸고 빨라서 가능한 짝지은 비교입니다.
Jev 7,500회 · 9분 11초 · $0.38
정량 패널에서 무작위로 고른 같은 1,500명에게 원안과 수정안을 각각 물었습니다(원안 찬성 쪽 확률 21%, 반대·유보 79%). 내용을 바꾸지 않는 대조 문장만 덧붙여도 평균 지지가 -0.02, 반대·유보가 +2.0%p 움직였습니다. 아래 변화는 이 대조 변화를 뺀 순효과입니다.
[수정안] 시범사업 종료 후 본사업 전환을 검토할 때 도시 저소득층 등 다른 취약계층으로 지급 대상을 확대하는 방안도 함께 검토한다.AI 작성
출처 보완 제안 ‘도시 저소득층 등 대상 확대’(146명) — “우리 같은 도시 저소득층도 어려운 형편이 많으니 나중에 확대할 때 고려해 봤으면 좋겠어요.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 수도권(권역) +0.10, 서비스 종사자(직업군) +0.10, 판매 종사자(직업군) +0.09
[수정안] 급속히 개발 중인 지역에서 일하며 기술 자격증을 따려는 청년 등을 위한 일자리 및 교육 지원 사업을 기본소득 지급과 함께 병행 검토한다.AI 작성
출처 보완 제안 ‘기본소득 외 일자리·인프라 병행’(64명) — “도시와 농촌뿐 아니라, 동탄처럼 급속도로 개발 중인 지역에서 일하면서 기술 자격증을 따려는 청년들을 위한 교육 지원도 함께 고려해봤으면 좋겠습니다.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 강원(권역) +0.13, 호남권(권역) +0.06, 단순노무 종사자(직업군) +0.05
[수정안] 시범사업 종료 시 지역별 성과를 평가하는 기준을 사전에 마련하여 공개하고, 이를 근거로 본사업 확대 여부를 결정한다.AI 작성
출처 보완 제안 ‘시범사업 평가 및 확대 근거’(95명) — “시범사업 이후 평가 기준을 명확히 공개해야 본사업으로 확대될 가능성이 생길 것 같습니다.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 관리자(직업군) +0.09, 강원(권역) +0.08, 전문가 및 관련 종사자(직업군) +0.08
한계: 효과가 날짜·나이 계산에 달린 수정안(예: “2031년부터 시행”)은 Jev가 잘못 읽을 수 있어, 수정 문장에는 누가 어떤 영향을 받는지를 직접 쓰게 했습니다.
Jev가 LLM 패널의 이유 문장만 읽고(찬반 표시는 가린 채) 어떤 태도로 읽히는지 5단계로 판정했습니다. 인물이 스스로 붙인 찬반과 1.5단계 이상 다르면 개별 응답에 표시합니다.
Jev 400회 · $0.0071
Jev의 판단을 얼마나 믿을 수 있는지 이 사례의 데이터로 쟀습니다. 선택지 순서, 질문 묶음, 같은 호출 반복, 다른 도구(LLM)와의 대조입니다.
Jev 1,200회 · $0.06
| 직업 | Jev | LLM |
|---|---|---|
| 건물 청소원 | 서비스 종사자 | 단순노무 종사자 |
| 검표원 | 사무 종사자 | 서비스 종사자 |
| 교사 교육 보조원 | 전문가 및 관련 종사자 | 사무 종사자 |
| 데스크 안내원 | 서비스 종사자 | 사무 종사자 |
| 보육교사 | 서비스 종사자 | 전문가 및 관련 종사자 |
| 비행기 조종사 | 장치·기계 조작 및 조립 종사자 | 전문가 및 관련 종사자 |
| 유통 및 매장 감시원 | 기능원 및 관련 기능 종사자 | 서비스 종사자 |
| 음식 배달원 | 서비스 종사자 | 단순노무 종사자 |
정답 목록이 아니라 두 도구의 비교입니다. 어느 쪽이 맞는지는 사람이 확인합니다.
쟁점의 이름과 요약은 LLM이 지었고, LLM 패널의 반응 하나하나가 어느 쟁점을 말하는지는 Jev가 골랐습니다. 확률 50% 이상일 때만 소속으로 인정하고, 인용문도 확률이 높은 반응부터 고릅니다. 확률은 선택지를 원래 순서와 뒤집은 순서로 물어 평균한 값입니다.
Jev 400회 · $0.01
이 사례에서 Jev가 한 판정의 수, 속도, 비용입니다.
| 단계 | 판정 | 호출 | 1회 응답(대기 포함) | 입력 토큰 | 비용(USD) | 단계 소요·처리 속도 |
|---|---|---|---|---|---|---|
| 쟁점 | 쟁점 소속 판정 | 400회 | 1.67초 | 352,946 | $0.015 | 147초 · 초당 5.4건 |
| 쟁점 | LLM 응답 자기모순 점검 | 400회 | 1.85초 | 169,252 | $0.007 | |
| 정량 점검 | 직업 대분류 매핑 | 17회 | 2.21초 | 108,214 | $0.004 | 424초 · 초당 12.8건 |
| 정량 점검 | 1인 1회 판정(찬반·영향·조항·쟁점·참여 방식) | 5,399회 | 1.79초 | 14,424,707 | $0.606 | |
| 수정안 비교 | 수정안 비교(원안·수정안·대조) | 7,500회 | 1.71초 | 9,025,550 | $0.379 | 551초 · 초당 13.6건 |
| 계획서 | 예상 질문 우선순위 | 600회 | 1.60초 | 803,026 | $0.034 | 55초 · 초당 10.9건 |
| 정책문 점검 | 정책문 명료성 점검 | 6회 | 0.70초 | 4,958 | $0.000 | 1초 · 초당 4.3건 |
| 판정 점검 | 쟁점 소속 두 순서 판정 | 800회 | 1.33초 | 705,892 | $0.030 | 92초 · 초당 17.4건 |
| 판정 점검 | 반응 관점 태그 | 400회 | 1.33초 | 255,790 | $0.011 | |
| 판정 점검 | 묶음 질문 점검 | 300회 | 1.33초 | 348,935 | $0.015 | |
| 판정 점검 | 반복 호출 점검 | 100회 | 1.33초 | 266,797 | $0.011 | |
| 공청회 읽기 | 공청회 발언 읽기 | 18회 | 1.15초 | 36,174 | $0.002 | 3초 · 초당 6.0건 |
| 합계 | 15,940회 | 26,502,241 | $1.11 | |||
비용은 API가 돌려준 입력 토큰 수에 100만 토큰당 $0.042를 곱한 값입니다(출력은 무료). 캐시는 같은 질문을 다시 사지 않고 저장해 둔 답을 쓴 횟수이며 비용이 들지 않습니다. 1회 응답은 여러 호출을 동시에 보낼 때 서버에서 기다린 시간까지 포함합니다. 처리 속도는 단계의 Jev 호출 수를 단계 전체 시간으로 나눈 값이며, 쟁점·수정안 단계에는 LLM 호출 시간도 섞여 있습니다.
Jev의 확률은 여러 사람을 묶어 볼 때 보정된 값이며, 한 사람의 답이 맞는다는 보장은 아닙니다. 한국어는 영어보다 정확도가 낮을 수 있어 집단 단위 경향으로만 읽습니다. 출처: docs.typesafe.ai