Das englische Basismodell nutzt ModernBERT-large mit 421 Millionen Parametern und 512 Token Kontext.
Apache 2.0 · über 100 Sprachen
Laya AI: kalibrierte Entscheidungen in einem Durchlauf
Für Text, E-Mail, Tickets und JSON. Stellen Sie typisierte Fragen und erhalten Sie kalibrierte Wahrscheinlichkeiten – ohne generierte Fließtexte.
TextE-MailTicketsJSON
Entscheidungsoutputs statt Aufsätze
Eingabezustand und Antwortraum bleiben getrennt. Sie definieren Fragen und Optionen zur Anfragezeit; Laya AI bewertet sie in einem Durchlauf und liefert kalibrierte Wahrscheinlichkeiten für Schwellenwerte, Protokollierung, Reproduzierbarkeit und Audits.
Das mehrsprachige Modell nutzt mmBERT-base mit 322 Millionen Parametern und über 100 Sprachen.
RLCD und streng geeignete Scoring-Regeln belohnen kalibrierte Wahrscheinlichkeitsangaben.
Englische, mehrsprachige und Typed-Decision-Gewichte stehen unter Apache 2.0.
Veröffentlichte Evaluation: 0.732 E-Mail-Triage, 0.883 Faktenprüfung und 0.991 Absichtsrouting.
Für belegbare Entscheidungen gebaut
Nutzen Sie Laya AI, wenn eine nachvollziehbare Wahrscheinlichkeitsverteilung wichtiger ist als flüssige Textgenerierung.
Typisierte Antworten
Stellen Sie Auswahl-, Bewertungs- oder Ja/Nein-Fragen. Der Antwortraum wird zur Anfragezeit definiert, ohne den Encoder neu zu trainieren.
Batching in einem Durchlauf
Parallele Prüfungen zu Dringlichkeit, Abteilung, Rückerstattungsabsicht und Churn-Risk laufen im selben Forward Pass.
Automatisches Routing
Router erkennt Sprache und Schrift, wählt das Modell und unterstützt eine explizite Sprachangabe.
Kalibrierte Wahrscheinlichkeiten
Wahrscheinlichkeitsverteilungen unterstützen Schwellenwerte, Sampling und Eskalation. Passen Sie temperature zuerst mit eigenen Daten an.
Keine generierten Fließtexte
Weniger freie Antworten bedeuten weniger Parsing und weniger Halluzination. Jeder Output bleibt an die angegebenen Optionen gebunden.
Vom Input zur Entscheidung
Der dokumentierte Weg ist kurz: Paket installieren, Eingabezustand und Antwortraum definieren, Router aufrufen und mit den zurückgegebenen Wahrscheinlichkeiten arbeiten.
Laya AI installieren
Installieren Sie das Paket laya aus PyPI und laden Sie nur das Modell, das Ihr Dienst benötigt.
Eingabezustand definieren
Geben Sie eine E-Mail, ein Ticket, ein Dokument oder eine JSON-Payload an. Entscheidungsregeln gehören in Frageanweisungen und Optionsbeschreibungen.
Typisierte Fragen stellen
Kombinieren Sie Abteilungs-, Dringlichkeits- und Rückerstattungsfragen im selben Aufruf.
Routen und handeln
Lesen Sie die gewählte Option und Wahrscheinlichkeit, protokollieren Sie Routing-Metadaten und wenden Sie Ihren Schwellenwert an.
Vor dem Rollout evaluieren
Labeln Sie Live-Beispiele, vergleichen Sie mit der aktuellen Richtlinie, passen Sie temperature an und legen Sie Eskalationsschwellenwerte fest.
Gemessene Ergebnisse und bekannte Grenzen
Diese Zahlen stammen aus der Laya-Projektdokumentation. Jedes Ergebnis nennt das Modell, den Workload und die Hardware für die Messung.
Feinabgestimmtes Modell über 2.000 Entscheidungen.
Über 24.314 ausgewertete Fragen.
Nach Kalibrierung in der veröffentlichten Evaluation.
Aus der lokalen Evaluation des Projekts.
Messbedingungen
Ergebnisse nennen das Modell, den Workload und die Hardware für die Messung.
Bekannte Trade-offs
Basismodelle liegen bei Zero-Shot-Typed-Decisions nahe am Zufall; Ordinal Scoring ist der schwächste Primitive, und 77 Banking77-Optionen erreichen im Standard-Token-Budget 0.425.
Laya AI gegenüber TypeSafe Jev
Ein kompakter Vergleich mit veröffentlichten TypeSafe-Jev-Zahlen.
| Metrik | TypeSafe Jev 1.13.0 | Laya AI, geroutet |
|---|---|---|
| Typed Decisions, 2.000 | 0.727 | 0.766 |
| AG News, 4 Labels | 0.910 | 0.950 |
| DAIR Emotion, 6 Labels | 0.480 | 0.595 |
| Banking77, 72 gegenüber 77 Labels | 0.870 | 0.425 |
| ECE, niedriger ist besser | 0.246 | 0.081 |
| p50-Latenz, eine Frage | 236–276 ms | 32.8 ms |
| Nutzbare Sprachen | Kein veröffentlichter Benchmark | 45 von 51 |
| Gewichte | Geschlossene API | Apache 2.0 |
TypeSafe-Jev-Zahlen stammen aus der veröffentlichten Projektdokumentation. Stichprobengrößen und Prompts unterscheiden sich von den gerouteten Laya-AI-Läufen.
Ergebnisse mit vielen Optionen und Soft-Distributionen
- Banking77: TypeSafe Jev 0.870; Laya AI 0.425 bei 77 Optionen.
- Soft-Genauigkeit für Typed Decisions: TypeSafe Jev 0.580; Laya AI 0.471.
- Unkalibriertes ECE: TypeSafe Jev 0.144; Laya AI 0.213 vor Temperature Fitting und 0.081 nach domänenspezifischem Fitting.
Offene Gewichte selbst hosten
Laya AI steht unter Apache 2.0 und enthält einen dokumentierten Serverpfad. Gewichte, Anfragen, Protokolle und Schwellenwertregeln können in Ihrer Umgebung bleiben.
Installieren und starten
Installieren Sie laya mit dem serve-Extra und führen Sie laya-serve aus. Umgebungsvariablen steuern Gerät und Preload-Verhalten.
Jev-kompatibler Endpoint
POST /v1/systemone folgt der TypeSafe-Jev-Struktur, sodass bestehende Clients nur die Base URL ändern.
Zugriff kontrollieren
Der Server bindet ohne Authentifizierung an 0.0.0.0. Setzen Sie LAYA_API_KEY, bevor Sie ihn außerhalb eines privaten Netzes anbieten.
Mit Grenzen betreiben
Nutzen Sie das englische Modell für Englisch, routen Sie anderen Input zum mehrsprachigen Modell und setzen Sie Laya AI für kalibrierte Entscheidungen ein.
Sprachrouting und Abdeckung
Modellfähigkeit und Routing-Evidenz sind getrennt dokumentiert. Das mehrsprachige Modell unterstützt über 100 Sprachen; der gemeinsame Benchmark hat 45 von 51 Sprachen gemessen.
- Englisch nutzt das ModernBERT-large-Basismodell.
- Nicht-lateinische Schriften werden an das mehrsprachige Modell geroutet.
- Die Schriftprüfung dauert unter 0,5 Millisekunden.
- Der gemeinsame Benchmark fand 45 von 51 Sprachen nutzbar.
- Version 0.3.7 verbessert Romanische Sprachen in Plain ASCII und Brasilianisches Portugiesisch.
- Spracherkennung lässt sich mit lang_guess überschreiben; bis zu zwei Modelle können geladen werden.
Laya AI FAQ
Was ist Laya AI?
Laya AI ist eine Familie nicht-autoregressiver Entscheidungsmodelle. Sie liest einen Eingabezustand und typisierte Fragen und liefert strukturierte Antworten mit Wahrscheinlichkeitsverteilungen.
Welche Modelle gibt es?
Das Hub enthält ein englisches Basismodell mit 421 Millionen Parametern, ein mehrsprachiges Modell mit 322 Millionen und ein Typed-Decision-Modell mit 421 Millionen.
Kann Laya AI ein sprachgenerierendes Modell ersetzen?
Nein. Es ist ein System-1-Entscheidungsmodell für Auswahl, Bewertung, Routing, Guardrails, Moderation und Konfidenzsignale.
Wie nutzt man Wahrscheinlichkeiten sicher?
Passen Sie temperature mit eigenen Daten an, prüfen Sie die Kalibrierung und wählen Sie konservative Schwellenwerte. Die Evaluation berichtet 0.753 In-Task-Genauigkeit und 0.947 bei 50% Coverage.
Welche Zero-Shot-Grenzen gibt es?
Basismodelle liegen im Zero-Shot-Fall nahe am Zufall, und viele Optionen belasten das Token-Budget. Evaluieren Sie Ihren eigenen Workload vor dem Rollout.
Ist kommerzielles Self-Hosting möglich?
Die Gewichte stehen unter Apache 2.0. Prüfen Sie die Lizenz in Ihrem Compliance-Prozess und aktivieren Sie Authentifizierung außerhalb privater Netze.
Was misst die veröffentlichte Evaluation?
In-Task- und held-out Zero-Shot-Gruppen, Kalibrierung und Latenz. Zero-Shot liegt bei 0.651, die größere In-Task-Gruppe bei 0.753.