Evaluering av kompetanse i offentlige anskaffelser

Vetle Elvan Eckhoff Advokat, KPMG Law Advokatfirma AS

Når offentlig sektor skal ansette egne medarbeidere, brukes betydelige ressurser på intervjuer, tester og grundige vurderinger av egnethet.  Dette står i kontrast til mange offentlige oppdragsgiveres prosess når samme type rolle skal fylles av en innleid konsulent. Ved offentlige anskaffelser av konsulenttjenester er det svært vanlig å kun evaluere kvalitet basert på innlevert CV.

Det er gjennomført omfattende forskning på hvilke metoder i en rekrutteringsprosess som best predikerer arbeidsprestasjon, og hvilke parametere som gir størst treffsikkerhet når kvaliteten på en arbeidstaker skal vurderes. Selv om det ikke nødvendigvis er hensiktsmessig, eller mulig, å anvende alle disse metodene ved offentlige anskaffelser av konsulenttjenester, reiser det likevel et spørsmål om hvorfor denne forskningen i så begrenset grad benyttes ved evaluering av kvaliteten ved anskaffelse av innleide konsulenter.

I en metaanalyse, som danner grunnlag for tabellen under, analyserte artikkelforfatterne i hvilken grad de forskjellige metodene i en rekrutteringsprosess er egnet til å rangere kandidatenes arbeidsprestasjon. Forskningen resulterer i en korrelasjonskoeffisient fra 1-0, hvor én innebærer en perfekt treffsikkerhet, altså at metoden rangerer kandidatene korrekt hver gang. Mens 0 i korrelasjonskoeffisient innebærer at det er ingen sammenheng mellom metoden og arbeidsprestasjon.

 [1]

[1] Revisiting Meta-Analytic Estimates of Validity in Personnel Selection: Addressing Systematic Overcorrection for Restriction of Range

Slik tabellen viser, er «job experience» rangert nest dårligst av alle de oppgitte valideringspunktene ved rekrutering. Korrelasjonskoeffisient på 0.07 av 1 innebærer at metoden som regel ikke gir noen bedre treffsikkerhet enn kontrollgruppen. Ifølge denne metaanalysen er altså vurdering av arbeidserfaring alene lite egnet til å predikere arbeidsprestasjon på kandidatene i en rekrutteringsprosess.

Sett i sammenheng med denne analysen, er det oppsiktsvekkende at kvalitet på konsulenter i mange offentlige anskaffelser blir evaluert utelukkende basert på opplysninger som i så liten grad er egnet til å predikere arbeidsprestasjon. Det burde derfor være av stor interesse for offentlige oppdragsgivere å også inkludere andre parametere ved evalueringen av kvaliteten til tilbudte konsulenter.

På topp, som de best egnede metodene, er strukturerte intervjuer og test av jobbkunnskap. Spørsmålet er i hvilken grad disse metodene også kan benyttes i offentlige anskaffelser.

Bruk av intervju i offentlig anskaffelser

Slik tabellen viser, er strukturert intervju metoden som gir den største korrelasjonskoeffisient på 0.42, men også ustrukturert intervju gir bedre datapunkter enn «job experience» på 0.19.

KOFA har i en rekke rådgivende uttalelser aksepterer bruk av strukturerte intervjuer som et lovlig tildelingskriterium, så fremt metoden utføres i henhold til anskaffelsesregelverket for øvrig. Altså er strukturert intervju noe oppdragsgiver i prinsippet kan benytte seg av i evalueringen av konsulentbistand.

Et eksempel på at KOFA aksepterer bruk av strukturert intervju i en åpen anbudskonkurranse er KOFA-sak 2016/124. Saken omhandlet en åpen anbudskonkurranse i regi av Kommunal- og moderniseringsdepartementet for inngåelse av ti rammeavtaler for levering av konsulenttjenester. Som ledd i evalueringen av oppdragsforståelse, under tildelingskriteriet kvalitet, ble det gjennomført intervjuer med de tilbudte konsulentene. Klager anførte at bruk av intervju var i strid med anskaffelsesregelverket.

Klagenemnda presiserte i den sammenheng at det ikke er i strid med anskaffelsesregelverket å bruke intervju under evalueringen av kvalitet:

«Klagenemnda vil påpeke at det ikke er i strid med regelverket å bruke intervju som et ledd i evalueringen, jf. klagenemndas avgjørelser i sak 2013/103 premiss (35), hvor kriteriet var «Beskrivelse ytelsen/helhetsinntrykk på møte», og sak 2011/55 premiss (56), hvor kriteriet «Samspillkompetanse», skulle vurderes ut fra blant annet «Intervju med gruppens medlemmer». I vår sak gjelder kriteriet konsulentens oppdragsforståelse. Når anskaffelsen gjelder konsulenttjenester, herunder kursing, rådgivning og samarbeid med ulike aktører, fremstår intervju med forutgående agenda for samtalen, slik konkurransegrunnlaget legger opp til, som hensiktsmessig ved vurderingen av tilbudene. Det er derfor ikke grunnlag for å hevde at underpunktet ikke oppfyller de krav til tildelingskriterier som fremgår av praksis.»

For å kunne anvende intervju for å evaluere kvalitet i anskaffelsesprosessen, forutsettes det at tildelingskriteriene ikke er «så skjønnspregede at de gir oppdragsgiveren en ubegrenset valgfrihet», jf. FOA § 18‑1. Videre må tildelingskriteriene være klart utformet, jf. bl.a. EU‑domstolens avgjørelser i sakene C‑517/01 (Concordia) og C‑448/01 (Wienstrom).

For å ivareta disse kravene, forutsettes det derfor at intervjuene er strukturerte. Videre må oppdragsgiver i konkurransegrunnlaget angi formålet med intervjuet, herunder hva som skal evalueres. Anskaffelsesregelverket forutsetter videre at kravet til etterprøvbarhet blir ivaretatt på en tilfredsstillende måte ved gjennomføring av intervjuene, jf. KOFA‑sak 2013/103.

Ved åpne og begrensede anbudskonkurranser gjelder det ikke et absolutt krav om skriftlighet, jf. KOFA‑sak 2013/103. Det er derfor adgang til å gjennomføre intervjuer etter tilbudsfristen. Situasjonen er imidlertid en annen ved gjennomføring av konkurranser under dynamisk innkjøpsordning (DPS). I henhold til FOA § 26‑4 tredje ledd skal konkurransen gjennomføres som en «fullt ut elektronisk prosess». Dette innebærer at all kommunikasjon med leverandørene skal skje elektronisk, uten muntlig kommunikasjon. Det er derfor ikke adgang til å gjennomføre intervjuer med tilbudte ressurser, jf. KOFA‑sak 2023/1120. Gitt egnetheten til de ulike evalueringsmetodene oppgitt i tabellen over, kan det stilles spørsmål ved i hvilken grad dynamiske innkjøpsordninger bør benyttes ved kjøp av konsulentbistand.

Jobbrelaterte tester

Som det fremgår av tabellen ovenfor, er visse jobbrelaterte tester godt egnet til å evaluere potensielle kandidater. «Job knowledge test» har en korrelasjonskoeffisient på 0.40, mens «cognitive ability test» har en korrelasjonskoeffisient på 0.31. Det samme gjelder «integrity test», som også har en korrelasjonskoeffisient på 0.31.

Det foreligger imidlertid ingen praksis, verken fra KOFA eller domstolene, knyttet til lovligheten av bruk av slike tester i offentlige anskaffelser. Spørsmålet er derfor om anskaffelsesregelverket er til hinder for bruk av denne typen tester ved innkjøp av konsulenttjenester.

Det klare utgangspunktet er at oppdragsgiver kan evaluere på «kvalifikasjoner» der hvor det har «stor betydning for utførelse av kontrakten», jf FOA § 18-1 tredje ledd bokstav b. Innkjøp av konsulenttjenester ligger i kjernen av bestemmelsen, hvor kvaliteten på bemanningen står helt sentralt.

Videre må tildelingskriteriene ha «tilknytning til leveransen», jf. FOA § 18‑1 fjerde ledd. Slik det fremgår av forskningen, er visse typer tester godt egnet til å gi oppdragsgiver et objektivt datapunkt for vurdering av forventet arbeidsprestasjon. De nevnte testene har dermed en klar tilknytning til kvaliteten på leveransen av konsulenttjenester.

Rangering av testresultater skjer normalt på en skjematisk og standardisert måte, uten innslag av skjønn. Bruk av slike jobbrelevante tester fremstår derfor heller ikke som problematisk opp mot kravet i FOA § 18‑1 femte ledd, som oppstiller en begrensning mot tildelingskriterier som er så skjønnspregede at de gir oppdragsgiver en ubegrenset valgfrihet.

Forutsatt at kravene til likebehandling og etterprøvbarhet ivaretas, er det altså ingen holdepunkter for at anskaffelsesregelverket i prinsippet er til hinder for bruk av jobbrelaterte tester ved innkjøp av konsulenttjenester.

Oppsummering

Slik det fremgår av det ovennevnte, ligger det innenfor oppdragsgivers handlingsrom etter anskaffelsesregelverket å benytte andre metoder enn CV for å vurdere tilbudte konsulenter. I lys av den raske teknologiske utviklingen, særlig innen AI og digitale verktøy, fremstår antall års erfaring som et mindre treffsikkert kvalitetsmål enn tidligere. Som forskningen viser, kan metoder som strukturerte intervjuer og bruk av jobbrelaterte tester gi høyere treffsikkerhet ved evalueringen av kvalitet, og dermed være et nyttig verktøy for å identifisere det økonomisk mest fordelaktige tilbudet.