영어 루트 모델은 ModernBERT-large(4.21억 파라미터, 512토큰 컨텍스트)를 사용합니다.
Apache 2.0 · 100개 이상 언어
Laya AI: 한 번의 순전파로 보정된 의사결정 제공
텍스트, 이메일, 티켓, JSON 입력에 구조화된 질문을 보내면 보정된 확률과 함께 유형화된 답변을 반환합니다. 자유 텍스트를 생성하지 않습니다.
텍스트이메일티켓JSON
긴 글이 아니라 의사결정 결과를 반환
입력 상태와 가능한 답변 범위를 분리합니다. 요청 시 질문과 선택지를 정의하면 Laya AI가 한 번의 순전파로 이를 평가하고 기록·재현·감사에 사용할 수 있는 보정된 확률을 반환합니다.
다국어 모델은 mmBERT-base(3.22억 파라미터, 100개 이상 언어)를 사용합니다.
RLCD와 strictly proper scoring rules는 보정된 확률 보고를 유도합니다.
영어, 다국어, typed decisions 가중치는 Apache 2.0으로 공개되어 있습니다.
공개 평가: 이메일 트리아지 0.732, 사실 확인 0.883, 의도 라우팅 0.991.
근거가 있는 의사결정을 위한 설계
유창한 생성문보다 설명·비교·검증 가능한 확률 분포가 중요한 워크로드에 Laya AI를 사용하세요.
유형화된 답변
선택, 점수, 예/아니오 질문을 보내면 구조화된 답변을 받습니다. 답변 범위는 요청 시 정의되며 인코더 재학습이 필요 없습니다.
한 번의 순전파 처리
긴급도, 담당 부서, 환불 의도, 이탈 위험 같은 병렬 확인을 같은 포워드 패스에서 처리합니다.
자동 라우팅
내장 Router가 언어와 문자 체계를 확인하고 모델을 선택합니다. 언어를 직접 지정할 수도 있습니다.
보정된 확률
확률 분포로 게이팅, 샘플링, 에스컬레이션을 지원합니다. 운영 임계값 앞에서 자체 데이터로 temperature을 조정하세요.
자유 텍스트 미생성
자유 형식 회신 파싱과 일부 환각 가능성을 줄입니다. 모든 출력은 요청에 포함된 선택지에 대응합니다.
입력에서 의사결정까지
문서화된 절차는 짧습니다. 패키지를 설치하고, 입력 상태와 답변 범위를 정의하고, Router를 호출한 뒤 반환된 확률로 처리합니다.
Laya AI 설치
PyPI에서 laya 패키지를 설치하고 서비스에 필요한 모델만 로드합니다.
입력 상태 정의
이메일, 티켓, 문서 또는 JSON 페이로드를 제공하고 판단 규칙은 질문 지침과 선택지 설명에 넣습니다.
유형화된 질문 작성
부서 선택, 긴급도 점수, 환불 의도 예/아니오 질문을 같은 호출에 결합합니다.
라우팅 후 처리
선택된 옵션과 확률을 읽고 라우팅 metadata를 기록한 뒤 자체 임계값을 적용합니다.
출시 전 평가
실제 샘플에 라벨을 지정하고 현행 정책과 비교한 뒤 temperature을 조정하고 에스컬레이션 임계값을 정합니다.
측정 결과와 알려진 한계
수치는 Laya 프로젝트 문서에서 가져왔습니다. 각 결과는 측정에 사용된 모델, 워크로드, 하드웨어를 표시합니다.
2,000개 의사결정에 대한 파인튜닝 모델 결과입니다.
24,314개 평가 질문을 기준으로 합니다.
공개 평가의 보정 이후 결과입니다.
프로젝트 로컬 평가 기록입니다.
측정 조건
결과는 측정에 사용된 모델, 워크로드, 하드웨어를 표시합니다.
알려진 트레이드오프
베이스 모델은 zero-shot typed decisions에서 거의 무작위 수준입니다. ordinal scoring이 가장 약한 기본 기능이며, 기본 토큰 예산에서 Banking77 77개 선택지는 0.425으로 떨어집니다.
Laya AI 대 TypeSafe Jev
공개된 TypeSafe Jev 수치와 컴팩트하게 비교합니다.
| 지표 | TypeSafe Jev 1.13.0 | Laya AI, 라우팅 |
|---|---|---|
| Typed decisions, 2,000건 | 0.727 | 0.766 |
| AG News, 4개 클래스 | 0.910 | 0.950 |
| DAIR Emotion, 6개 클래스 | 0.480 | 0.595 |
| Banking77, 72 대 77 클래스 | 0.870 | 0.425 |
| ECE, 낮을수록 좋음 | 0.246 | 0.081 |
| 질문 1개 p50 지연 | 236–276 ms | 32.8 ms |
| 사용 가능 언어 | 공개 벤치마크 없음 | 51개 중 45개 |
| 가중치 | 폐쇄형 API | Apache 2.0 |
TypeSafe Jev 수치는 공개 문서 기준이며, 샘플 수와 프롬프트는 Laya AI 라우팅 평가와 다릅니다.
다중 선택지와 소프트 분포 결과
- Banking77: TypeSafe Jev 0.870, Laya AI 0.425.
- Typed decisions 소프트 정확도: TypeSafe Jev 0.580, Laya AI 0.471.
- 보정 전 ECE: TypeSafe Jev 0.144, Laya AI 0.213. 도메인 temperature 보정 후 0.081.
오픈 웨이트 셀프호스팅
Laya AI는 Apache 2.0으로 제공되며 문서화된 서버 실행 경로를 포함합니다. 가중치, 요청, 로그, 임계값 정책을 자체 환경에 둘 수 있습니다.
설치 및 실행
serve extra를 포함해 laya를 설치한 뒤 laya-serve를 실행합니다. 환경 변수로 장치와 preload 동작을 제어합니다.
Jev 호환 엔드포인트
POST /v1/systemone은 TypeSafe Jev 형식을 따르므로 기존 클라이언트는 base URL만 변경하면 됩니다.
접근 제어
서버는 기본적으로 인증 없이 0.0.0.0에 바인딩됩니다. 사설 네트워크 밖으로 공개하기 전 LAYA_API_KEY를 설정하세요.
한계를 고려한 운영
영어는 영어 루트 모델로 처리하고 다른 입력은 다국어 모델로 라우팅합니다. 선택지 길이를 모니터링하고 Laya AI는 보정된 의사결정에 사용하세요.
언어 라우팅과 커버리지
모델 역량과 라우팅 근거는 분리해 문서화합니다. 다국어 모델은 100개 이상 언어를 지원하고, 공유 벤치마크는 51개 언어 중 45개를 측정했습니다.
- 영어는 ModernBERT-large 루트 모델을 사용합니다.
- 비라틴 문자는 Laya AI 다국어 모델로 라우팅됩니다.
- 문자 체계 확인은 0.5밀리초 미만입니다.
- 공유 벤치마크에서 51개 언어 중 45개가 사용 가능했습니다.
- 0.3.7에서 plain ASCII 로맨스 언어와 브라질 포르투갈어 처리를 개선했습니다.
- lang_guess로 감지를 재정의하거나 최대 두 모델을 preload할 수 있습니다.
Laya AI FAQ
Laya AI는 무엇인가요?
비자기회귀 의사결정 모델 계열입니다. 입력 상태와 유형화된 질문을 읽고 자유 텍스트 대신 확률 분포가 포함된 구조화 답변을 반환합니다.
사용할 수 있는 모델은 무엇인가요?
4.21억 파라미터 영어 루트 모델, 3.22억 파라미터 다국어 모델, 4.21억 파라미터 typed decisions 모델을 제공합니다.
답변을 생성하는 언어 모델을 대체할 수 있나요?
아니요. System 1 의사결정 모델로 선택, 점수, 라우팅, 가드레일, 모더레이션, 신뢰도 신호에 적합합니다.
확률을 안전하게 사용하려면 어떻게 해야 하나요?
자체 데이터로 temperature을 조정하고 캘리브레이션 곡선을 확인한 뒤 보수적인 임계값을 설정하세요. 공개 평가의 in-task 정확도는 0.753, 50% 커버리지 기준 0.947입니다.
zero-shot 한계는 무엇인가요?
베이스 모델은 zero-shot에서 거의 무작위 수준입니다. 선택지가 많으면 토큰 예산도 부담됩니다. 배포 전 자체 워크로드로 평가하세요.
상업적 셀프호스팅이 가능한가요?
모델은 Apache 2.0입니다. 자체 컴플라이언스 절차로 라이선스를 검토하고 사설 네트워크 밖에서는 인증을 활성화하세요.
공개 평가는 무엇을 측정하나요?
in-task 및 held-out zero-shot 작업군, 캘리브레이션, 지연을 다룹니다. zero-shot 전체 정확도는 0.651이고 더 큰 in-task 집합은 0.753입니다.