Vi beklager alle problemene og plunder og heft som våre brukere av Datafangst 1.0 har stått i den senere tid.
Statens vegvesen har brukt store ressurser på å bedre ytelsen, feilsøking og feilretting.
Dessverre har vi ikke vært flinke nok til å kommunisere med brukerne våre om hvilke
problemer de bør vite om, og hvilke tiltak vi jobber med.
Ytelsen i Datafangst 1.0 ble vesentlig bedre 14. november
Gladnyheten er at vi omsider har funnet en teknologisk løsning som gir akseptabel ytelse. Fra og med torsdag 14. november innførte vi avansert teknologi for indeksering og caching oppå databaselaget. Omsider klarte vi finne en løsning der Datafangst 1.0 får tilbake den ytelsen vi hadde for noen år tilbake.
I 2024 har vi brukt store ressurser på ytelsesproblemer, samt feilsøking på ulike problemer. Noen av disse problemene var på grunn av treghet i systemet. Andre problem skyldtes endringer utenfor Datafangst: Flere av tjenestene Datafangst er avhengig av, for eksempel vegkart eksport eller SKRIV sine valideringfunksjoner, har endret seg de siste månedene. Dette har gjort arbeidet med ytelsesforbedring vesentlig mer komplisert.
Ytelse, belastning og svartid fra databasen har vært hovedbekymringen siste året - her er vi bokstavelig kvalt av vår egen suksess, med et systemarkitektur og databasestruktur som ikke er egnet for de datavolumene og antall samtidige brukere som er i systemet. Men vi har også funnet og fjernet andre flaskehalser.
Caching i nettleser er skrudd av
Ett tiltak for å redusere belastning på databasen var å skru på såkalt "caching" i brukerens nettleser. Det vil si at når du åpner en fane som du så på for mindre enn 5 minutter siden så hentes ikke data fra serveren (og databasen): Data er allerede lagret i minnet til nettleser, og er derfor tilgjengelig uten forsinkelse. Ulempen er hvis data endrer seg så risikerer du å måtte gjøre en "refresh" (oppfrisking) av nettleser før endringene blir synlige for deg. For eksempel hvis du er innom vegobjekttabellen, og så laster du opp en fil og så går tilbake til vegobjekttabellen: Da blir ikke data fra den nye filen synlig før du gjør en tvungen oppfriskning (refresh) av nettleser. Vi har fått flere klager på support på dette temaet.
På grunn av disse ulempene - og fordi ytelsesforbedringene 14.11 var så gode - så har vi nå valgt å SKRU AV funksjonen med mellomlagring ("caching") i nettleser.
Kopier egenskap til mange er strengere - men raskere
I vegobjekttabellen gjorde om på valideringen ved kopier til mange (evt til alle). Før så ble hvert eneste objekt validert for den nye egenskapverdien ved kopiering. Denne valideringen skjer ved en spørring til SKRIV sin valideringstjeneste. Det går greit når du jobber med 15-20 objekter, men når du jobber med flere hundre objekt så tar det mangfoldige minutter. Nå validerer vi EN gang: FØR kopiering, og det går veldig mye raskere enn før. I tillegg skriver vi kun én bulkedit-oppføring i endringsloggen, ikke én oppføring per objekt.
Ulempen er at denne valideringen er strengere: Hvis objektet du kopierer fra mangler en egenskap med viktighet påkrevd absolutt så er kopieringen inaktiv - også når det er en helt annen egenskap du ønsker å kopiere. Her hadde det vært gunstig med en bedre tilbakemelding til brukeren, men det har vi ikke prioritert.
Så hvis du plundrer med kopiering av egenskaper: Sjekk om objektet du kopierer fra har alle påkrevde egenskaper.
Fjernet mye unødvendig datainnhenting
Vi fant og ryddet vekk mye unødvendig datainnhenting. For eksempel når du åpner fanen for endringslogg så trenger du ikke også laste ned alle for filer og vegobjekter. Slike eksempler fant vi mange av, og vi ryddet vekk eller slo sammen mye overflødig datainnhenting. Hovedsiden for kontrakten er også delt inn i flere elementer som lastes uavhengig av hverandre, med flere "underspinnere".
Noen tilfeller der registering til NVDB feilet på grunn av ugyldig versjonsnummer
Den 31. oktober fikk over 200.000 objekter endret versjonsnummer i NVDB. Årsaken var opprydding i historiske data der vi fjernet ugyldige versjoner og berørte objekt fikk dermed et lavere versjonsnummer enn før. Dette berører et par prosent av alle rekkverk, skiltpunkt og skiltplater. Alle datafangstkontrakter som importerte data fra NVDB før 31.10 kan være rammet, og vi har allerede en håndfull supportsaker med dette problemet.
Vi har rullet ut en kodefiks der vi skrur ned versjonsnummer når vi møter meldingen "vegobjektet finnes ikke xxxxx:Y", der Y er det versjonsnummeret som ble ugyldig 31.10. Berørte brukere skal nå kunne sende inn data til NVDB som normalt.
Skydrift av server og database
Et svært viktig grep var å flytte både databasen og server opp på mer moderne driftsplattform i skyen (Amazon web services). Uten skydrift hadde det ikke vært mulig å anvende den teknologien oppå databaselaget som til slutt ga den ønskede ytelsesforbedringen 14.11.
Høydereferanse (HREF) er straks på plass
Koden for visning og redigering av høydereferanse, også kalt HREF, har vært klar til testing siden september - men andre akutte driftsproblemer og arbeidet med ytelse har bokstavelig talt blokkert utrullingen. Hvis det ikke dukker opp mer uforutsett så regner vi med at denne koden kommer i produksjon i løpet av noen arbeidsdager.
I motsetning til andre metadata geometri (også kjent som kvalitetsparametre) så blir kolonnen for Høydereferanse editerbar av brukeren.
Dobbeltlagring til NVDB
Dette problemet er vi rimelig sikre på skyldes allmenn treghet i database (og systemet for øvrig): Ved lagring av mange objekter til NVDB så har noen brukere opplevd at ingenting skjer etter at de har trykket "registrer til NVDB". Neste gang de prøver så viser det seg at joda - feilmedling om versjonskonflikt er jo fordi data ble lagret til NVDB den første gangen, men fordi ting gikk såpass tregt har nettleser "gitt opp" å vente på resultatet av denne lagringen.
Vi har innført et lite tricks som deaktiverer "registrer"-knappen den første gangen du trykker. Men generelt tror vi det beste tiltaket her er at systemet nå er blitt mye kjappere enn før.
Driftsmeldinger på web og epost
Vi minner om at driftsmeldinger for alle NVDB-produktene publiseres på https://nvdbstatus.atlas.vegvesen.no/. Der kan du også legge inn epostadressen din hvis du vil ha varsling på epost.