Opbygning af et produktionsklart tekst-til-SQL-system: Opnåelse af 88.15% på Spider 1.0

At bygge et produktionsklart tekst-til-SQL-system kræver meget mere end at generere SQL med en stor sprogmodel. Virksomhedsapplikationer kræver præcis skemaforståelse, konteksthentning, validering og fejlkorrektion for at producere pålidelige resultater på tidligere usete databaser.

I denne undersøgelse benchmarker vi vores Data Agent på Spider 1.0 og opnår en udførelsesnøjagtighed på 88.15 % ved hjælp af Gemma 4 26B- modellen. I stedet for udelukkende at fokusere på benchmark-scorer deler denne artikel de arkitektoniske beslutninger, tekniske erfaringer og benchmark-indsigter bag disse resultater.

Store sprogmodeller har forbedret SQL-generering betydeligt, men at bygge et produktionsklart tekst-til-SQL-system kræver meget mere end at oversætte naturligt sprog til SQL. Virksomhedsapplikationer skal forstå komplekse databaseskemaer, hente den rigtige kontekst, validere genererede forespørgsler og producere pålidelige resultater på databaser, de aldrig har set før.

For at evaluere disse funktioner, testede vi vores Data Agent på Spider 1.0, den mest anvendte Text-to-SQL-benchmark. Ved hjælp af Gemma 4 26B -modellen opnåede vores system en udførelsesnøjagtighed på 88.15% , hvilket viser, at arkitektur og kontekststyring er lige så vigtige som modelvalg.

Det er lige så vigtigt at vælge den rigtige benchmark som at vælge den rigtige model. Mens nyere datasæt som Spider 2.0 og BIRD introducerer mere komplekse virksomhedsscenarier, er Spider 1.0 fortsat den mest udbredte benchmark til evaluering af Text-to-SQL-systemer og sammenligning af resultater på tværs af litteraturen.

Til vores indledende evaluering valgte vi Spider 1.0, fordi den giver et standardiseret og veletableret grundlag. Den giver os mulighed for at måle, hvor effektivt vores Data Agent forstår hidtil usete databaseskemaer og genererer korrekt SQL under realistiske forhold.

Figur 2 opsummerer, hvordan Spider 1.0 klarer sig i forhold til andre almindeligt anvendte Text-to-SQL-benchmarks.

At opnå høj tekst-til-SQL-nøjagtighed er ikke blot et spørgsmål om at bruge en større sprogmodel. Gennem vores benchmarkingproces fandt vi ud af, at arkitektur og kontekststyring havde en større indflydelse på ydeevnen end modelvalg alene.

Vores dataagent er designet som en flertrins pipeline, der gradvist indsnævrer problemet, før LLM'en bliver bedt om at generere SQL. I stedet for at eksponere hele databaseskemaet for modellen, henter systemet først kun det relevante skema og kontekstuelle oplysninger, genererer derefter en SQL-forespørgsel, validerer resultatet og retter automatisk almindelige fejl før udførelse.

Som illustreret i figur 3 består arkitekturen af ​​tre hovedfaser:

• Informationsindhentning – Brugerens spørgsmål analyseres for at identificere de relevante databaseobjekter, og kun de nødvendige skemaoplysninger hentes fra metadatalagret.
• Selvraffinerende middel – Sprogmodellen genererer SQL, validerer forespørgslen i forhold til det hentede skema og forfiner den automatisk, når valideringen mislykkes.
• Udførelse og respons – Når SQL-forespørgslen er valideret, udføres den mod måldatabasen, og resultaterne returneres som strukturerede data eller et naturligt sprogligt svar.

Denne produktionsorienterede arkitektur er inspireret af ideer introduceret i DIN-SQL og DAIL-SQL , samtidig med at den er tilpasset til virksomhedsmiljøer, hvor pålidelighed, forklarlighed og robusthed er lige så vigtige som benchmark-nøjagtighed.

At vælge den rigtige sprogmodel var en vigtig del af vores benchmarkingproces. I stedet for at evaluere en enkelt model, eksperimenterede vi med en bred vifte af open source LLM'er, herunder Llama 3.1, Qwen 2.5, DeepSeek, SQLCoder, CodeGemma, Mistral, GPT-OSS og Gemma 4.

For at sikre en fair sammenligning evaluerede vi hver model ved hjælp af Execution Accuracy (EA) , standardmetrikken for Text-to-SQL benchmarking. I modsætning til syntaksbaserede metrikker måler Execution Accuracy, om den genererede SQL returnerer det samme resultat som referenceforespørgslen, hvilket gør den til en bedre indikator for ydeevne i den virkelige verden.

Vores benchmarking-rejse er illustreret i figur 4. Vi startede med at eksperimentere på en lokal arbejdsstation udstyret med en RTX 4060 (8 GB VRAM) , hvor mindre modeller tillod os at iterere hurtigt og validere vores pipeline. Efter at have etableret en stabil baseline ved hjælp af en delmængde af 233 Spider 1.0-spørgsmål, gik vi over til cloud-GPU'er for at evaluere større modeller på det komplette benchmark med 2,147 spørgsmål . Denne trinvise tilgang gjorde det muligt for os at optimere arkitekturen effektivt, før vi investerede i storskala benchmark-kørsler.

Vi evaluerede de endelige modeller på den komplette Spider 1.0-testopdeling, der indeholdt 2,147 spørgsmål. Som vist i tabel 1 opnåede Gemma 4 26B den højeste score (88.15%), efterfulgt af GPT-OSS 20B (86.63%). Disse resultater viser, at moderne open source LLM'er, når de kombineres med en effektiv hentnings- og valideringspipeline, kan opnå en yderst konkurrencedygtig Text-to-SQL-ydeevne. 

Benchmark-scorer er kun meningsfulde, når de kan sammenlignes med tidligere publiceret arbejde. For bedre at forstå betydningen af ​​vores resultater har vi gennemgået både nylige Text-to-SQL-studier og bredt refererede benchmark-artikler.

Tabel 2: Nøjagtighedsraterne for closed-source-modeller rapporteret i SQL-of-Thought-undersøgelsen på en delmængde af Spider-datasættet; den viser sammenlignende, at resultatet på 88.15 % opnået i dette arbejde er placeret over GPT-4o Mini (87 %) og på et niveau tæt på GPT-5 (89 %).

Nyere arbejde som SQL-of-Thought [1] rapporterer, at førende closed source-modeller – herunder Claude Opus 3, GPT-5 og GPT-4o Mini – opnår høj nøjagtighed på Spider-benchmark-undersæt. Mens direkte sammenligninger bør fortolkes omhyggeligt på grund af forskelle i evalueringsindstillinger, prompts og benchmark-undersæt, viser vores udførelsesnøjagtighed på 88.15 % , at open source-modeller kan opnå ydeevne inden for det samme konkurrencemæssige interval.

Selvom disse resultater kommer fra forskellige evalueringsindstillinger og ikke bør sammenlignes direkte, giver de en nyttig kontekst til at forstå det nuværende ydeevnelandskab for Text-to-SQL-systemer. Vores benchmark viser, at open source-modeller nu kan konkurrere med førende closed source-alternativer, når de kombineres med en veldesignet arkitektur.

Vi sammenlignede også vores resultater med produktionsorienterede tekst-til-SQL-frameworks som DIN-SQL [3] og DAIL-SQ L, der kombinerer store sprogmodeller med teknikker, herunder skemalinkning, prompt engineering, selvkonsistens og fejlkorrektion.

Tabel 3: Resultaterne af udførelsesnøjagtigheden for forskellige metoder på Spider 1.0 i undersøgelsen "Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation" [2]; den afslører virkningen på nøjagtigheden, ikke kun af modelvalg, men også af teknikker som prompt engineering, skemalinkning og selvkonsistens.

Vores resultater understøtter en konklusion, der deles på tværs af nyere litteratur: høj tekst-til-SQL-ydeevne afhænger ikke kun af sprogmodellen, men også af den omgivende arkitektur. Effektiv skemahentning, kontekststyring, validering og selvkorrektion er ofte lige så vigtige som selve modellen.

Benchmarking handler ikke kun om at måle nøjagtighed – det handler også om at forstå, hvor og hvorfor et system fejler. Gennem vores evaluering analyserede vi forkerte forudsigelser og identificerede adskillige tilbagevendende mønstre, der påvirkede de endelige scorer.

Nogle fejl stammede fra selve benchmarken. I et lille antal tilfælde forårsagede uoverensstemmelser i reference-SQL-forespørgslerne (guld), at logisk korrekte forudsigelser blev markeret som forkerte. Andre tilfælde involverede tvetydige spørgsmål i naturligt sprog eller afgørende scenarier, hvor flere SQL-forespørgsler legitimt kunne give lige gyldige svar.

Vi observerede også adskillige modelspecifikke adfærdsmønstre, herunder unødvendige typekonverteringer, inkonsekvent håndtering af store og små bogstaver og lejlighedsvis overkomplicering af ellers simple SQL-forespørgsler. Disse resultater understregede vigtigheden af ​​at inkorporere validerings- og selvkorrektionsmekanismer i Data Agent-pipelinen.

Samlet set viste vores analyse, at mange af de resterende fejl ikke skyldtes begrænsninger i selve sprogmodellen, men snarere tvetydigheder i benchmark- eller edge-tilfældene i SQL-genereringen. Dette tyder på, at yderligere forbedringer i hentning, validering og kontekststyring kan skubbe systemet ud over tærsklen på 90 % udførelsesnøjagtighed.

Høj nøjagtighed er kun ét aspekt af et produktionsklart tekst-til-SQL-system. I virksomhedsmiljøer er infrastrukturomkostninger, databeskyttelse og fleksibilitet i forbindelse med implementering lige så vigtige overvejelser.

En af de vigtigste fordele ved vores tilgang er, at den udelukkende er baseret på open source-sprogmodeller. Gennem hele udviklingsprocessen var vi i stand til at udføre de fleste eksperimenter lokalt ved hjælp af en RTX 4060 (8 GB VRAM) i forbrugerkvalitet , hvilket gjorde det muligt for os at iterere hurtigt uden at pådrage os API- eller token-omkostninger. Større benchmark-kørsler blev derefter udført på dedikerede cloud-GPU'er, først efter at arkitekturen var blevet valideret.

Vi brugte RunPod Secure Cloud til den fulde Spider 1.0-evaluering. Gemma 4 26B-benchmarken blev udført på en A100 PCIe 80 GB GPU, mens GPT-OSS 20B kørte på en RTX 6000 48 GB GPU.

Infrastrukturomkostningerne er opsummeret i tabel 4.

Selvom de største benchmark-kørsler krævede cloud-infrastruktur, forblev den overordnede udviklingsproces omkostningseffektiv takket være lokale eksperimenter og open source-modeller. Endnu vigtigere er det, at den resulterende arkitektur kan implementeres fuldstændigt inden for en organisations egen infrastruktur, hvilket eliminerer afhængigheden af ​​eksterne API'er, samtidig med at der gives større kontrol over databeskyttelse, compliance og driftsomkostninger.

Dette gør arkitekturen særligt velegnet til organisationer, der opererer i privatlivsfølsomme, regulerede eller air-gapped miljøer, hvor datasikkerhed og fleksibilitet i implementering er kritiske krav.

Benchmarks giver en objektiv måde at evaluere AI-systemer på, men de er ikke det endelige mål. En høj benchmark-score er kun værdifuld, hvis den omsættes til pålidelig ydeevne i virkelige applikationer.

Gennem hele denne undersøgelse fandt vi ud af, at det at bygge et produktionsklart tekst-til-SQL-system handler om langt mere end blot at generere SQL. Forståelse af databaseskemaer, hentning af den rigtige kontekst, validering af genererede forespørgsler og raffinering af forkerte output viste sig at være lige så vigtigt som selve sprogmodellen.

Vores udførelsesnøjagtighed på 88.15 % på Spider 1.0 viser, at open source-modeller kombineret med en veldesignet arkitektur kan levere yderst konkurrencedygtig ydeevne til tekst-til-SQL-opgaver i virksomheder. Endnu vigtigere er det, at det validerer designprincipperne bag vores Data Agent , som blev bygget til at fungere pålideligt på komplekse virksomhedsdatabaser i stedet for kun på benchmarkdatasæt.

Spider 1.0 repræsenterer en vigtig milepæl, men det er kun begyndelsen på vores rejse. Vores næste skridt inkluderer evaluering af Data Agent på Spider 2.0 , større benchmarks på virksomhedsniveau og, vigtigst af alt, virkelige kundemiljøer, hvor databaseskemaer er betydeligt større, og forretningsspørgsmål er langt mere komplekse.

Vores langsigtede vision er ikke blot at bygge en bedre SQL-generator. Vi sigter mod at bygge intelligente dataagenter, der gør det muligt for organisationer at interagere med virksomhedsdata lige så naturligt, som de kommunikerer med en kollega – og kombinerer hentning, ræsonnement, validering og forklarlig AI i en pålidelig beslutningsstøtteplatform.

Benchmarking handler ikke kun om at måle nøjagtighed – det handler om at forstå, hvorfor et system lykkes eller fejler.

Gennem vores evaluering identificerede vi adskillige tilbagevendende fejlmønstre. Nogle stammede fra tvetydigheder i selve benchmarken, herunder uoverensstemmelser i reference-SQL-forespørgsler og underspecificerede rækkefølgebetingelser. Andre afspejlede almindelige LLM-adfærdsmønstre, såsom unødvendig type casting eller inkonsekvent håndtering af store og små bogstaverfølsomme værdier.

Disse observationer forstærkede en af ​​de centrale resultater i vores arbejde: arkitektur er lige så vigtig som modelvalg. Hentning, skemakobling, validering og selvkorrektion bidrog lige så meget til den endelige ydeevne som den underliggende sprogmodel.

Selvom benchmarkbegrænsninger uundgåeligt påvirker den endelige score, tyder vores analyse på, at yderligere forbedringer i kontekststyring og validering kan skubbe systemet ud over 90% udførelsesnøjagtighed.

Spider 1.0 gav et vigtigt grundlag for evalueringen af ​​vores Data Agent, men det repræsenterer kun det første skridt mod produktionsklar virksomheds-AI.

Vores næste fokus er at evaluere arkitekturen på mere udfordrende benchmarks såsom Spider 2.0 og, endnu vigtigere, på rigtige virksomhedsdatabaser, hvor skemaer er betydeligt større, dokumentationen ofte er ufuldstændig, og forretningsmæssige spørgsmål er langt mere komplekse.

Vores mål er ikke blot at bygge endnu et tekst-til-SQL-system. Vi bygger intelligente dataagenter , der kombinerer hentning, ræsonnement, validering og forklaringsevne for at hjælpe organisationer med at interagere med virksomhedsdata naturligt og pålideligt.

Referencer

[1] Saumya Chaturvedi, Aman Chadha, Laurent Bindschaedler arXiv. “SQL-of-Thought: Multiagentisk tekst-til-SQL med guidet fejlkorrektion.” arXiv. Juni 2026 https://arxiv.org/abs/2509.00581

[2] Dawei Gao, Haibin Wang, Yaliang Li, Xiuyu Sun, Yichen Qian, Bolin Ding, Jingren Zhou "Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation" arXiv. juni 2026

https://arxiv.org/pdf/2308.15363 

[3] Mohammadreza Pourreza, Davood Rafiei. “DIN-SQL: Dekomponeret kontekstbaseret læring af tekst-til-SQL med selvkorrektion” arXiv. Juni 2026

https://arxiv.org/pdf/2304.11015

Dilşen YILDAR HAVAYLAR, 

Senior softwareingeniør, cand.scient.