의견제출 기간 2026. 9. 23. ~ 2026. 11. 2. · 국민참여입법센터 입법예고문의 제정이유·주요내용을 원문 그대로 옮김 · 원문 보기
TypeSafe의 Jev는 문장을 쓰지 않고, 정해 둔 질문에 보정된(calibrated) 확률로 답하는 판단 모델(System One)입니다. 대표 패널과 같은 방식(시도×연령대×성별 층화)으로 뽑은 5,000명과 LLM 패널 400명에게 한 사람당 한 번씩, 아래 질문을 한꺼번에 물었습니다.
How would this person react to the policy?질문을 10개에서 31개로 늘려도 한 번 호출에 걸리는 시간은 0.3~1.3초로 같았고, 늘어나는 것은 입력 토큰(비용)뿐이었습니다. 그래서 한 사람에게 필요한 판단을 한 번에 모두 묻습니다.
Jev 5,400회 · $1.14 · 한 사람당 한 번, 질문을 모두 담아
사람마다 받은 5단계 확률을 평균한 값입니다. 한 사람의 답 하나가 아니라 확률의 합입니다.
LLM 패널 사람들에게 LLM은 한 사람당 답 하나를 뽑았고, Jev는 같은 사람들에게 확률 분포를 줬습니다. LLM이 한쪽으로 쏠리는지 여기서 확인합니다.
조항마다 반대(−1)·중립(0)·찬성(+1) 확률을 물어 기댓값을 칸에 적었습니다. 빨강 쪽일수록 그 집단이 그 조항에 반대할 가능성이 큽니다.
| 조항 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 1. 제정이유 | +0.68 | +0.54 | +0.66 | +0.70 | +0.72 | +0.72 | +0.72 |
| 가. 안전사고 및 피해자의 범위(안 제2조부터 제3조까지) | +0.65 | +0.49 | +0.62 | +0.67 | +0.69 | +0.69 | +0.68 |
| 나. 피해자의 권리 교육ㆍ훈련 대상 등(안 제4조) | +0.48 | +0.39 | +0.49 | +0.52 | +0.52 | +0.49 | +0.47 |
| 다. 기업등의 범위(안 제5조) | +0.10 | +0.08 | +0.14 | +0.13 | +0.12 | +0.07 | +0.06 |
| 라. 국민생명안전위원회의 구성ㆍ운영 및 생명안전종합계획의 수립 절차 등(안 제6조부터… | +0.33 | +0.21 | +0.32 | +0.35 | +0.36 | +0.35 | +0.36 |
| 마. 안전관련기준의 통합관리 및 지역 안전수준 진단(안 제13조부터 제18조까지) | +0.57 | +0.45 | +0.57 | +0.59 | +0.60 | +0.59 | +0.56 |
| 바. 안전영향평가의 대상ㆍ방법 및 절차 등(안 제19조부터 제28조까지) | +0.41 | +0.32 | +0.43 | +0.44 | +0.44 | +0.41 | +0.38 |
| 사. 안전사고에 관한 정보의 제공 절차 등(안 제29조 및 제30조) | +0.43 | +0.32 | +0.44 | +0.46 | +0.46 | +0.44 | +0.43 |
| 아. 국가안전사고조사위원회 구성ㆍ운영 등(안 제31조부터 제45조까지) | +0.60 | +0.46 | +0.59 | +0.63 | +0.64 | +0.62 | +0.60 |
| 자. 추모사업ㆍ공동체 회복 사업(안 제46조부터 제47조까지) | +0.68 | +0.49 | +0.62 | +0.68 | +0.72 | +0.75 | +0.78 |
| 조항 | 전체 | 관리자93명 | 전문가 및 관련 종사자580명 | 사무 종사자596명 | 서비스 종사자630명 | 판매 종사자220명 | 기능원 및 관련 기능 종사자264명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자205명 | 군인42명 | 무직·기타1,974명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. 제정이유 | +0.68 | +0.67 | +0.72 | +0.66 | +0.70 | +0.62 | +0.69 | +0.78 | +0.71 | +0.77 | +0.65 |
| 가. 안전사고 및 피해자의 범위(안 제2조부터 제3조까지) | +0.65 | +0.63 | +0.67 | +0.61 | +0.68 | +0.57 | +0.69 | +0.78 | +0.71 | +0.73 | +0.61 |
| 나. 피해자의 권리 교육ㆍ훈련 대상 등(안 제4조) | +0.48 | +0.52 | +0.60 | +0.47 | +0.54 | +0.34 | +0.46 | +0.60 | +0.43 | +0.75 | +0.43 |
| 다. 기업등의 범위(안 제5조) | +0.10 | +0.29 | +0.20 | +0.15 | +0.05 | +0.03 | +0.07 | +0.20 | +0.04 | +0.14 | +0.06 |
| 라. 국민생명안전위원회의 구성ㆍ운영 및 생명안전종합계획의 수립 절차 등(안 제6조부터… | +0.33 | +0.38 | +0.42 | +0.33 | +0.31 | +0.25 | +0.30 | +0.41 | +0.28 | +0.51 | +0.31 |
| 마. 안전관련기준의 통합관리 및 지역 안전수준 진단(안 제13조부터 제18조까지) | +0.57 | +0.59 | +0.67 | +0.54 | +0.55 | +0.44 | +0.62 | +0.75 | +0.55 | +0.69 | +0.52 |
| 바. 안전영향평가의 대상ㆍ방법 및 절차 등(안 제19조부터 제28조까지) | +0.41 | +0.45 | +0.57 | +0.40 | +0.37 | +0.25 | +0.48 | +0.65 | +0.42 | +0.58 | +0.33 |
| 사. 안전사고에 관한 정보의 제공 절차 등(안 제29조 및 제30조) | +0.43 | +0.43 | +0.51 | +0.43 | +0.43 | +0.37 | +0.40 | +0.48 | +0.41 | +0.53 | +0.40 |
| 아. 국가안전사고조사위원회 구성ㆍ운영 등(안 제31조부터 제45조까지) | +0.60 | +0.60 | +0.67 | +0.58 | +0.58 | +0.52 | +0.63 | +0.74 | +0.61 | +0.74 | +0.56 |
| 자. 추모사업ㆍ공동체 회복 사업(안 제46조부터 제47조까지) | +0.68 | +0.66 | +0.67 | +0.63 | +0.71 | +0.62 | +0.61 | +0.63 | +0.68 | +0.74 | +0.72 |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
칸의 숫자는 그 집단 사람들이 해당 조항의 직접 영향을 받는다고 Jev가 본 확률의 평균입니다. 인용 기반 쟁점 지도와 달리 모든 사람·모든 조항을 빠짐없이 봅니다.
| 조항 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 1. 제정이유 | 34% | 29% | 33% | 35% | 35% | 34% | 34% |
| 가. 안전사고 및 피해자의 범위(안 제2조부터 제3조까지) | 43% | 37% | 42% | 44% | 45% | 44% | 45% |
| 나. 피해자의 권리 교육ㆍ훈련 대상 등(안 제4조) | 19% | 19% | 22% | 22% | 21% | 16% | 13% |
| 다. 기업등의 범위(안 제5조) | 21% | 20% | 25% | 25% | 24% | 16% | 13% |
| 라. 국민생명안전위원회의 구성ㆍ운영 및 생명안전종합계획의 수립 절차 등(안 제6조부터… | 15% | 14% | 16% | 16% | 15% | 14% | 13% |
| 마. 안전관련기준의 통합관리 및 지역 안전수준 진단(안 제13조부터 제18조까지) | 24% | 23% | 26% | 26% | 26% | 23% | 21% |
| 바. 안전영향평가의 대상ㆍ방법 및 절차 등(안 제19조부터 제28조까지) | 17% | 17% | 20% | 20% | 19% | 14% | 12% |
| 사. 안전사고에 관한 정보의 제공 절차 등(안 제29조 및 제30조) | 28% | 25% | 28% | 29% | 29% | 27% | 26% |
| 아. 국가안전사고조사위원회 구성ㆍ운영 등(안 제31조부터 제45조까지) | 25% | 23% | 26% | 27% | 26% | 24% | 23% |
| 자. 추모사업ㆍ공동체 회복 사업(안 제46조부터 제47조까지) | 17% | 14% | 16% | 17% | 18% | 18% | 19% |
| 조항 | 전체 | 수도권2,530명 | 충청권542명 | 호남권481명 | 대경권486명 | 동남권746명 | 강원150명 | 제주65명 |
|---|---|---|---|---|---|---|---|---|
| 1. 제정이유 | 34% | 33% | 34% | 34% | 34% | 34% | 33% | 34% |
| 가. 안전사고 및 피해자의 범위(안 제2조부터 제3조까지) | 43% | 42% | 44% | 44% | 44% | 44% | 43% | 45% |
| 나. 피해자의 권리 교육ㆍ훈련 대상 등(안 제4조) | 19% | 19% | 19% | 20% | 19% | 20% | 19% | 22% |
| 다. 기업등의 범위(안 제5조) | 21% | 21% | 22% | 21% | 21% | 21% | 19% | 20% |
| 라. 국민생명안전위원회의 구성ㆍ운영 및 생명안전종합계획의 수립 절차 등(안 제6조부터… | 15% | 15% | 15% | 15% | 15% | 15% | 15% | 15% |
| 마. 안전관련기준의 통합관리 및 지역 안전수준 진단(안 제13조부터 제18조까지) | 24% | 24% | 25% | 25% | 25% | 25% | 24% | 24% |
| 바. 안전영향평가의 대상ㆍ방법 및 절차 등(안 제19조부터 제28조까지) | 17% | 17% | 18% | 17% | 18% | 17% | 16% | 16% |
| 사. 안전사고에 관한 정보의 제공 절차 등(안 제29조 및 제30조) | 28% | 27% | 28% | 28% | 28% | 28% | 27% | 28% |
| 아. 국가안전사고조사위원회 구성ㆍ운영 등(안 제31조부터 제45조까지) | 25% | 24% | 25% | 25% | 26% | 26% | 24% | 25% |
| 자. 추모사업ㆍ공동체 회복 사업(안 제46조부터 제47조까지) | 17% | 17% | 17% | 18% | 18% | 18% | 17% | 19% |
| 조항 | 전체 | 관리자93명 | 전문가 및 관련 종사자580명 | 사무 종사자596명 | 서비스 종사자630명 | 판매 종사자220명 | 기능원 및 관련 기능 종사자264명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자205명 | 군인42명 | 무직·기타1,974명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. 제정이유 | 34% | 33% | 33% | 31% | 34% | 30% | 38% | 47% | 39% | 35% | 31% |
| 가. 안전사고 및 피해자의 범위(안 제2조부터 제3조까지) | 43% | 41% | 40% | 37% | 45% | 41% | 50% | 59% | 53% | 43% | 40% |
| 나. 피해자의 권리 교육ㆍ훈련 대상 등(안 제4조) | 19% | 22% | 27% | 21% | 26% | 13% | 23% | 33% | 20% | 40% | 11% |
| 다. 기업등의 범위(안 제5조) | 21% | 45% | 29% | 25% | 20% | 25% | 35% | 42% | 25% | 16% | 10% |
| 라. 국민생명안전위원회의 구성ㆍ운영 및 생명안전종합계획의 수립 절차 등(안 제6조부터… | 15% | 19% | 17% | 17% | 14% | 14% | 15% | 17% | 14% | 18% | 13% |
| 마. 안전관련기준의 통합관리 및 지역 안전수준 진단(안 제13조부터 제18조까지) | 24% | 32% | 30% | 24% | 22% | 22% | 31% | 35% | 25% | 22% | 21% |
| 바. 안전영향평가의 대상ㆍ방법 및 절차 등(안 제19조부터 제28조까지) | 17% | 31% | 26% | 18% | 14% | 15% | 24% | 30% | 17% | 16% | 11% |
| 사. 안전사고에 관한 정보의 제공 절차 등(안 제29조 및 제30조) | 28% | 31% | 28% | 26% | 28% | 26% | 31% | 37% | 30% | 31% | 25% |
| 아. 국가안전사고조사위원회 구성ㆍ운영 등(안 제31조부터 제45조까지) | 25% | 26% | 27% | 23% | 24% | 22% | 31% | 41% | 29% | 35% | 21% |
| 자. 추모사업ㆍ공동체 회복 사업(안 제46조부터 제47조까지) | 17% | 16% | 16% | 15% | 18% | 16% | 17% | 19% | 18% | 18% | 17% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
LLM 패널 400명의 반응에서 나온 쟁점을 대표 5,000명에게 되물었습니다. 칸의 숫자는 그 집단 사람들이 그 쟁점을 제기할 확률의 평균입니다(한 사람이 여러 쟁점에 공감할 수 있습니다).
| 쟁점 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 산업현장 노동자 보호 | 41% | 35% | 41% | 44% | 45% | 42% | 34% |
| 행정·실행 부담 우려 | 57% | 54% | 61% | 62% | 61% | 54% | 48% |
| 취약계층·유가족 지원 | 55% | 47% | 54% | 57% | 56% | 57% | 60% |
| 현장 안전기준 통합관리 | 54% | 52% | 57% | 57% | 56% | 52% | 46% |
| 지역·공동체 회복 체계 | 64% | 58% | 61% | 64% | 65% | 67% | 67% |
| 구조대원·수사관 등 종사자 권리 인정 | 50% | 48% | 51% | 51% | 52% | 50% | 50% |
| 소상공인 적용 제외 형평성 | 39% | 36% | 39% | 41% | 40% | 39% | 37% |
| 산업분야별 전문성 기여 기대 | 26% | 25% | 28% | 28% | 26% | 24% | 22% |
| 쟁점 | 전체 | 관리자93명 | 전문가 및 관련 종사자580명 | 사무 종사자596명 | 서비스 종사자630명 | 판매 종사자220명 | 기능원 및 관련 기능 종사자264명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자205명 | 군인42명 | 무직·기타1,974명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 산업현장 노동자 보호 | 41% | 41% | 44% | 41% | 36% | 31% | 64% | 64% | 65% | 41% | 32% |
| 행정·실행 부담 우려 | 57% | 68% | 66% | 66% | 61% | 57% | 66% | 69% | 62% | 66% | 46% |
| 취약계층·유가족 지원 | 55% | 53% | 54% | 53% | 58% | 53% | 50% | 50% | 56% | 54% | 58% |
| 현장 안전기준 통합관리 | 54% | 61% | 62% | 58% | 57% | 49% | 64% | 67% | 59% | 66% | 44% |
| 지역·공동체 회복 체계 | 64% | 62% | 63% | 62% | 65% | 63% | 63% | 63% | 65% | 63% | 65% |
| 구조대원·수사관 등 종사자 권리 인정 | 50% | 50% | 55% | 50% | 51% | 46% | 49% | 51% | 47% | 69% | 49% |
| 소상공인 적용 제외 형평성 | 39% | 47% | 40% | 41% | 39% | 45% | 42% | 39% | 39% | 34% | 36% |
| 산업분야별 전문성 기여 기대 | 26% | 31% | 35% | 28% | 23% | 24% | 26% | 28% | 21% | 31% | 22% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
정량 패널을 사는 곳(시도)으로 묶었습니다. 30명 미만 시도는 해석하지 않습니다.
30명 이상인 시도 사이의 차이는 직접 영향 최대 1.8%p, 반대·유보 최대 3.7%p입니다. 색 구간 경계 근처의 작은 차이로 색이 갈릴 수 있으니 칸의 숫자를 함께 봅니다.
0을 기준으로 왼쪽은 반대, 오른쪽은 찬성 쪽입니다. 30명 미만 집단은 회색으로 두고 해석하지 않습니다.
회색은 30명 미만이라 해석하지 않습니다.
직접 영향 확률이 높은데 스스로 의견 낼 확률이 낮은 집단이 ‘찾아가 들어야 할 집단’의 후보입니다.
| 집단 | 인원 | 직접 영향 확률 | 스스로 의견 낼 확률 |
|---|---|---|---|
| 관리자 | 93 | 26% | 27% |
| 전문가 및 관련 종사자 | 580 | 21% | 28% |
| 사무 종사자 | 596 | 19% | 23% |
| 서비스 종사자 | 630 | 20% | 20% |
| 판매 종사자 | 220 | 17% | 19% |
| 농림어업 숙련 종사자 | 12 | 19% | 16% |
| 기능원 및 관련 기능 종사자 | 264 | 22% | 20% |
| 장치·기계 조작 및 조립 종사자 | 384 | 25% | 23% |
| 단순노무 종사자 | 205 | 20% | 18% |
| 군인 | 42 | 21% | 26% |
| 무직·기타 | 1974 | 13% | 21% |
| 집단 | 인원 | 직접 영향 확률 | 스스로 의견 낼 확률 |
|---|---|---|---|
| 19–29세 | 728 | 17% | 20% |
| 30대 | 748 | 19% | 24% |
| 40대 | 878 | 20% | 24% |
| 50대 | 994 | 19% | 24% |
| 60대 | 893 | 17% | 22% |
| 70세 이상 | 759 | 14% | 19% |
여섯 가지 의견수렴 방식 각각에 초대받으면 실제로 참여할 확률입니다. 찾아갈 집단 카드와 계획서의 접촉 방법은 이 숫자를 근거로 삼습니다.
| 방식 | 전체 | 19–29세728명 | 30대748명 | 40대878명 | 50대994명 | 60대893명 | 70세 이상759명 |
|---|---|---|---|---|---|---|---|
| 경로당·마을 모임 방문 청취 | 53% | 41% | 46% | 51% | 56% | 60% | 62% |
| 10분 전화 인터뷰 | 53% | 53% | 52% | 52% | 53% | 54% | 54% |
| 직장·노조·협회를 통한 간담회 | 46% | 44% | 54% | 54% | 52% | 38% | 28% |
| 주민센터 설명회·공청회(평일 저녁) | 42% | 35% | 40% | 42% | 44% | 45% | 42% |
| 문자로 받는 짧은 온라인 설문 | 41% | 46% | 46% | 44% | 42% | 37% | 31% |
| 입법예고 누리집 의견 쓰기 | 32% | 33% | 36% | 35% | 33% | 30% | 26% |
| 방식 | 전체 | 관리자93명 | 전문가 및 관련 종사자580명 | 사무 종사자596명 | 서비스 종사자630명 | 판매 종사자220명 | 기능원 및 관련 기능 종사자264명 | 장치·기계 조작 및 조립 종사자384명 | 단순노무 종사자205명 | 군인42명 | 무직·기타1,974명 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 경로당·마을 모임 방문 청취 | 53% | 49% | 47% | 49% | 56% | 52% | 52% | 52% | 57% | 50% | 56% |
| 10분 전화 인터뷰 | 53% | 52% | 54% | 53% | 53% | 51% | 50% | 51% | 51% | 54% | 54% |
| 직장·노조·협회를 통한 간담회 | 46% | 64% | 63% | 62% | 56% | 52% | 59% | 64% | 55% | 69% | 24% |
| 주민센터 설명회·공청회(평일 저녁) | 42% | 44% | 43% | 40% | 42% | 39% | 41% | 41% | 40% | 43% | 43% |
| 문자로 받는 짧은 온라인 설문 | 41% | 44% | 47% | 45% | 41% | 42% | 40% | 41% | 36% | 46% | 39% |
| 입법예고 누리집 의견 쓰기 | 32% | 38% | 42% | 36% | 29% | 29% | 28% | 31% | 24% | 37% | 31% |
30명 미만이라 뺀 집단: 농림어업 숙련 종사자(12명)
의견을 내기 전에 설명이 가장 필요한 조항을 하나씩 고르게 한 확률의 평균입니다. 설명자료와 공청회 순서를 정할 때 씁니다.
전체 27%
이런 정책 소식을 주로 어디서 접하는지 Jev가 고른 곳의 비율입니다.
LLM 패널이 낸 보완 제안 가운데 큰 묶음을 AI가 구체적인 수정 문장으로 바꾸고, 같은 사람들에게 원안과 수정안을 각각 물어 변화를 쟀습니다. 판단이 싸고 빨라서 가능한 짝지은 비교입니다.
Jev 7,500회 · 10분 45초 · $0.75
정량 패널에서 무작위로 고른 같은 1,500명에게 원안과 수정안을 각각 물었습니다(원안 찬성 쪽 확률 74%, 반대·유보 26%). 내용을 바꾸지 않는 대조 문장만 덧붙여도 평균 지지가 -0.02, 반대·유보가 +1.6%p 움직였습니다. 아래 변화는 이 대조 변화를 뺀 순효과입니다.
[수정안] 소상공인은 기업등의 범위에서 제외하되, 국가와 지방자치단체가 소상공인 사업장에 대해 최소한의 안전기준을 갖출 수 있도록 비용ㆍ컨설팅 등을 지원하는 근거를 마련한다.AI 작성
출처 보완 제안 ‘소상공인 적용 범위’(83명) — “지방 소매점 같은 작은 가게들도 최소한의 안전기준은 챙길 수 있도록 지원해주면 좋겠어요.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 관리자(직업군) +0.12, 판매 종사자(직업군) +0.06, 사무 종사자(직업군) +0.05
[수정안] 소상공인과 소규모 건물 관리자도 교육ㆍ훈련 대상에 포함하거나 준하여, 이들이 부담 없이 이용할 수 있는 저렴한 별도의 안전교육 프로그램을 마련하여 운영한다.AI 작성
출처 보완 제안 ‘교육프로그램 현실화’(56명) — “소상공인도 일부 포함하거나, 작은 건물 관리자들 대상으로 저렴한 안전교육 프로그램을 따로 마련해주면 현장에서 더 잘 지킬 수 있을 것 같습니다.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 단순노무 종사자(직업군) +0.21, 서비스 종사자(직업군) +0.17, 관리자(직업군) +0.17
[수정안] 중소기업과 소규모 공방 등 영세 사업장은 책무 이행에 과도한 부담이 발생하지 않도록 시행 시기를 단계적으로 적용하고, 이행에 필요한 지원 방안을 함께 마련한다.AI 작성
출처 보완 제안 ‘중소기업 지원·단계적 시행’(58명) — “중소기업이나 작은 공방처럼 돌아가는 곳들도 너무 큰 부담을 안지 않게 했으면 좋겠습니다.”
연령대별 평균 지지 변화AI 추정
가장 크게 움직인 집단: 기능원 및 관련 기능 종사자(직업군) -0.22, 장치·기계 조작 및 조립 종사자(직업군) -0.18, 단순노무 종사자(직업군) -0.12
한계: 효과가 날짜·나이 계산에 달린 수정안(예: “2031년부터 시행”)은 Jev가 잘못 읽을 수 있어, 수정 문장에는 누가 어떤 영향을 받는지를 직접 쓰게 했습니다.
Jev가 LLM 패널의 이유 문장만 읽고(찬반 표시는 가린 채) 어떤 태도로 읽히는지 5단계로 판정했습니다. 인물이 스스로 붙인 찬반과 1.5단계 이상 다르면 개별 응답에 표시합니다.
Jev 400회 · $0.0072
“우리 회사도 공공기관 같은 책무가 생기는 거겠지만, 기본적으로 안전이 중요한 건 누구나 알잖아요. 다만 소상공인은 제외한다고 하니까 중소기업인 우리 보험사는 이런 기준들을 지키려면 서류 작업이 많아질 것 같긴 한데요.”
인물이 붙인 찬반 찬성 · Jev 판독 -0.61“수산시장 같은 현장에서 일하다 보면 안전사고가 얼마나 순간적으로 터지는지 봅니다. 제도적으로 피해자를 챙기고 사고를 제대로 조사한다는 게 좋긴 한데, 실제로 중소 도매업체들까지 규정을 다 지키려면 현장이 얼마나 힘들어질지 그게 걱정됩니다.”
인물이 붙인 찬반 찬성 · Jev 판독 -0.50Jev의 판단을 얼마나 믿을 수 있는지 이 사례의 데이터로 쟀습니다. 선택지 순서, 질문 묶음, 같은 호출 반복, 다른 도구(LLM)와의 대조입니다.
Jev 1,200회 · $0.08
| 직업 | Jev | LLM |
|---|---|---|
| 검표원 | 사무 종사자 | 서비스 종사자 |
| 교사 교육 보조원 | 전문가 및 관련 종사자 | 사무 종사자 |
| 그 외 시설 및 특수 경비원 | 기능원 및 관련 기능 종사자 | 서비스 종사자 |
| 데스크 안내원 | 서비스 종사자 | 사무 종사자 |
| 보육교사 | 서비스 종사자 | 전문가 및 관련 종사자 |
| 비행기 조종사 | 장치·기계 조작 및 조립 종사자 | 전문가 및 관련 종사자 |
| 음식 배달원 | 서비스 종사자 | 단순노무 종사자 |
| 의무 기록사 | 사무 종사자 | 전문가 및 관련 종사자 |
정답 목록이 아니라 두 도구의 비교입니다. 어느 쪽이 맞는지는 사람이 확인합니다.
쟁점의 이름과 요약은 LLM이 지었고, LLM 패널의 반응 하나하나가 어느 쟁점을 말하는지는 Jev가 골랐습니다. 확률 50% 이상일 때만 소속으로 인정하고, 인용문도 확률이 높은 반응부터 고릅니다. 확률은 선택지를 원래 순서와 뒤집은 순서로 물어 평균한 값입니다.
Jev 400회 · $0.02
이 사례에서 Jev가 한 판정의 수, 속도, 비용입니다.
| 단계 | 판정 | 호출 | 1회 응답(대기 포함) | 입력 토큰 | 비용(USD) | 단계 소요·처리 속도 |
|---|---|---|---|---|---|---|
| 쟁점 | 쟁점 소속 판정 | 400회 | 1.11초 | 372,947 | $0.016 | 164초 · 초당 4.9건 |
| 쟁점 | LLM 응답 자기모순 점검 | 400회 | 1.14초 | 172,285 | $0.007 | |
| 정량 점검 | 직업 대분류 매핑 | 17회 | 1.49초 | 108,214 | $0.004 | 611초 · 초당 8.9건 |
| 정량 점검 | 1인 1회 판정(찬반·영향·조항·쟁점·참여 방식) | 5,400회 | 1.34초 | 27,178,449 | $1.141 | |
| 수정안 비교 | 수정안 비교(원안·수정안·대조) | 7,500회 | 1.02초 | 17,890,550 | $0.751 | 645초 · 초당 11.6건 |
| 계획서 | 예상 질문 우선순위 | 600회 | 1.36초 | 1,556,026 | $0.065 | 46초 · 초당 13.1건 |
| 정책문 점검 | 정책문 명료성 점검 | 11회 | 1.45초 | 23,268 | $0.001 | 4초 · 초당 2.7건 |
| 판정 점검 | 쟁점 소속 두 순서 판정 | 800회 | 1.36초 | 745,894 | $0.031 | 125초 · 초당 12.8건 |
| 판정 점검 | 반응 관점 태그 | 400회 | 1.35초 | 260,991 | $0.011 | |
| 판정 점검 | 묶음 질문 점검 | 300회 | 1.46초 | 700,235 | $0.029 | |
| 판정 점검 | 반복 호출 점검 | 100회 | 1.35초 | 502,897 | $0.021 | |
| 공청회 읽기 | 공청회 발언 읽기 | 18회 | 0.97초 | 36,700 | $0.002 | 3초 · 초당 6.7건 |
| 합계 | 15,946회 | 49,548,456 | $2.08 | |||
비용은 API가 돌려준 입력 토큰 수에 100만 토큰당 $0.042를 곱한 값입니다(출력은 무료). 캐시는 같은 질문을 다시 사지 않고 저장해 둔 답을 쓴 횟수이며 비용이 들지 않습니다. 1회 응답은 여러 호출을 동시에 보낼 때 서버에서 기다린 시간까지 포함합니다. 처리 속도는 단계의 Jev 호출 수를 단계 전체 시간으로 나눈 값이며, 쟁점·수정안 단계에는 LLM 호출 시간도 섞여 있습니다.
Jev의 확률은 여러 사람을 묶어 볼 때 보정된 값이며, 한 사람의 답이 맞는다는 보장은 아닙니다. 한국어는 영어보다 정확도가 낮을 수 있어 집단 단위 경향으로만 읽습니다. 출처: docs.typesafe.ai