Made for Italy demo roomstanza demo
NEURALIS·preprint · machine translation evaluation
ENIT
Sample S1 · MTPE · technical register

Evaluating LexGLUE-IT: a benchmark for Italian legal language modelsValutazione di LexGLUE-IT: un benchmark per modelli linguistici italiani nel settore legale

Fictional preprint · CS.CL · 2026 — the localization decisions are real.Preprint fittizio · CS.CL · 2026 — le decisioni di localizzazione sono vere.

AbstractAbstract

We introduce LexGLUE-IT, a benchmark for evaluating language models on Italian legal text: statutes, case law, and contracts. Fine-tuning on a curated corpus of legal documents improves performance on Italian statutes by 8.2 points over the baseline. Notably, the model handles long-range dependencies in multi-article references with high precision — a result that matters for real-world drafting workflows. We release the benchmark, code, and public leaderboard under an MIT license.Presentiamo LexGLUE-IT, un benchmark per valutare modelli linguistici su testo legale italiano: statuti, giurisprudenza e contratti. L'ottimizzazione su un corpus curato di documenti legali migliora le prestazioni sugli statuti italiani di 8,2 punti rispetto alla baseline. Va segnalato che il modello gestisce con precisione le dipendenze a lungo raggio nei riferimenti multi-articolo — un risultato decisivo per i flussi di redazione reali. Pubblichiamo benchmark, codice e classifica pubblica con licenza MIT.

ContentsIndice

  1. §1 Introduction§1 Introduzione
  2. §2 Related work§2 Stato dell'arte
  3. §3 Benchmark construction§3 Costruzione del benchmark
  4. §4 Results§4 Risultati
  5. §5 Limitations§5 Limitazioni
  6. ReferencesRiferimenti
Translator → copywriter: “Which is huge for real-world drafting” became “un risultato decisivo per i flussi di redazione reali” — hype deflated to claim size; in Italian academic register the number carries the enthusiasm, not the adjective. Traduttore → copywriter: “Which is huge for real-world drafting” è diventato “un risultato decisivo per i flussi di redazione reali” — entusiasmo sgonfiato alla dimensione del claim; nel registro accademico italiano l'entusiasmo lo porta il numero, non l'aggettivo.

Open the decision log →Apri il decision log →