英文根模型採用 ModernBERT-large（4.21 億參數，512 token 上下文）。
Apache 2.0 · 100+ 語言
Laya AI：一次推理，輸出校準決策
適用於文字、電子郵件、工單和 JSON。提出結構化問題，即可取得校準後的機率，而不會生成自由文字。
文字電子郵件工單JSON
輸出決策結果，而非長篇文字
輸入狀態和答案範圍會分開處理。你在請求中定義問題與選項，Laya AI 會在一次推理中評分，並傳回可用於門檻判斷、記錄、重現和稽核的校準機率。
多語言模型採用 mmBERT-base（3.22 億參數，支援 100+ 語言）。
RLCD 與嚴格適當評分規則會鼓勵模型輸出校準機率。
英文、多語言與類型化決策權重均採 Apache 2.0 授權。
公開評測：電子郵件分類 0.732、事實查核 0.883、意圖路由 0.991。
為可驗證決策而設計
在需要可解釋、可比較的機率分佈時使用 Laya AI，而不是依賴流暢但難以執行的生成文字。
結構化答案
提出選擇題、評分題或是否題，並在請求時定義答案範圍，不需重新訓練編碼器。
單次推理批次處理
緊急度、負責部門、退款意圖和流失風險等並行檢查，可在同一次前向傳播中完成。
自動路由
Router 會辨識語言與文字系統、選擇模型，並支援明確指定語言。
校準機率
機率分佈可用於門檻判斷、抽樣和人工升級。請先使用自己的資料擬合 temperature。
不生成自由文字
減少需要解析的自由回覆和常見幻覺。每個輸出都對應請求中提供的選項。
從輸入到決策
文件中的路徑很短：安裝套件、定義狀態與答案範圍、呼叫 Router，再根據傳回機率處理。
安裝 Laya AI
從 PyPI 安裝 laya 套件，並只載入服務需要的模型。
定義輸入狀態
提供電子郵件、工單、文件或 JSON 資料，並在問題說明與選項描述中放入判斷規則。
提出結構化問題
在同一呼叫中結合部門、緊急度和退款意圖問題。
路由並執行
讀取選取的選項與機率，記錄路由 metadata，然後套用你的門檻。
上線前先評估
標記實際樣本、與現行規則比較、擬合 temperature，再設定升級門檻。
實測結果與已知限制
這些數字來自 Laya 專案文件。每項結果都標示測量所用的模型、工作負載和硬體。
微調模型在 2,000 個決策上的結果。
涵蓋 24,314 個評測問題。
基於公開評測的校準結果。
來自專案本地評測。
測量條件
相關結果會標示測量所用的模型、工作負載和硬體。
已知權衡
基礎模型在零樣本類型化決策中接近隨機水準；序數評分是最弱的能力；Banking77 的 77 個選項在預設 token 預算下為 0.425。
Laya AI 與 TypeSafe Jev 比較
與已發布的 TypeSafe Jev 數據進行緊湊比較。
| 指標 | TypeSafe Jev 1.13.0 | Laya AI（路由模式） |
|---|---|---|
| 類型化決策，2,000 個 | 0.727 | 0.766 |
| AG News，4 類 | 0.910 | 0.950 |
| DAIR Emotion，6 類 | 0.480 | 0.595 |
| Banking77，72 對 77 類 | 0.870 | 0.425 |
| ECE，越低越好 | 0.246 | 0.081 |
| 單一問題 p50 延遲 | 236–276 ms | 32.8 ms |
| 可用語言 | 無公開基準 | 51 種中的 45 種 |
| 權重 | 封閉 API | Apache 2.0 |
TypeSafe Jev 數據來自其公開文件；兩者的基準樣本規模和提示詞不同。
高選項與軟分佈結果
- Banking77：TypeSafe Jev 0.870；Laya AI 在 77 個選項問題上為 0.425。
- 類型化決策軟準確率：TypeSafe Jev 0.580；Laya AI 0.471。
- 原始 ECE：TypeSafe Jev 0.144；Laya AI 溫度擬合前為 0.213，領域溫度擬合後為 0.081。
在自己的環境自託管開放權重
Laya AI 採用 Apache 2.0，並提供文件完善的服務啟動方式。權重、請求、日誌和門檻策略都可以保留在你自己的環境內。
安裝並啟動服務
安裝帶有 serve 擴充的 laya 套件後執行 laya-serve。環境變數可控制裝置與預載行為。
相容 Jev 的端點
POST /v1/systemone 遵循 TypeSafe Jev 結構，現有用戶端只需更改 base URL。
控制存取權限
服務預設綁定 0.0.0.0 且不啟用認證。若要對私有網路以外暴露，請設定 LAYA_API_KEY。
在適用範圍內營運
英文輸入使用英文根模型，其他輸入交給多語言模型；持續關注選項長度，並將 Laya AI 用於需要校準決策的場景。
語言路由與覆蓋範圍
模型能力和路由證據分開記錄：多語言模型支援超過 100 種語言，共享基準測量了 51 種語言，其中 45 種超過隨機基線三倍。
- 英文使用 ModernBERT-large 根模型。
- 非拉丁文字會路由到 Laya AI 的多語言模型。
- 文字系統辨識低於 0.5 毫秒。
- 共享基準測得 51 種語言中的 45 種可用。
- 0.3.7 改進了純 ASCII 羅曼語系文本與巴西葡萄牙語。
- 可使用 lang_guess 覆寫偵測，或預載最多兩個模型。
Laya AI 常見問題
Laya AI 是什麼？
Laya AI 是一族非自回歸決策模型。它讀取輸入狀態和結構化問題，傳回結構化答案與機率分佈，而不是自由文字。
有哪些可用模型？
模型庫包含 4.21 億參數的英文根模型、3.22 億參數的多語言模型，以及 4.21 億參數的類型化決策模型。
它能取代會生成回覆的語言模型嗎？
不能。它是 System 1 決策模型，適合選擇、評分、路由、護欄、審核和置信度信號；需要生成回覆時應交給其他組件。
如何安全使用機率？
先用自己的資料擬合 temperature，檢查校準曲線，再設定保守門檻。公開評測顯示任務內準確率為 0.753，50% 覆蓋率下為 0.947。
零樣本能力有什麼限制？
基礎模型在零樣本設定下接近隨機水準，高選項問題也會造成 token 壓力。上線前請評估自己的工作負載。
可以商業自託管嗎？
模型採用 Apache 2.0。請依你的合規流程審閱授權，並在非私有網路環境啟用認證。
公開評測涵蓋了什麼？
涵蓋任務內與留出的零樣本任務族、校準和延遲。零樣本總體準確率為 0.651；更大的任務內集合為 0.753。