AI-förordningen påverkar alla som arbetar med digitala system, och det kan vara bra att förstå vad det innebär innan du påbörjar ett AI-projekt.
Enligt AI-förordningen räknas numera all maskininlärning som AI, vilket betyder att många IT-system antingen är eller innehåller AI-lösningar. De flesta AI-lösningar är tillåtna, men vissa klassas som högrisk eller är till och med förbjudna. Dessutom kan ett system som i grunden är låg risk hamna i högrisk-kategorin beroende på hur det används. Det innebär att även AI-lösningar från stora och välkända leverantörer kan bedömas som högrisk enligt förordningen.
Riskklassificering av AI-tjänster
| Risknivå | Exempel | Kommunens förhållningssätt |
| Oacceptabel risk | AI för massövervakning eller manipulering | Förbjudet enligt lag |
| Hög risk | AI i rekrytering, rättsväsende, utbildning | Kräver grundlig utvärdering och får endast tas i bruk efter att hänsyn tagits till rekommendationer lämnade av beredningsgruppen. |
| Begränsad risk | Chatbots, virtuella assistenter | Kan oftast användas med öppen information, men krav kan finnas på exempelvis transparens vid användning. För användning av annat än öppen information tillkommer särskild utvärdering. |
| Låg risk | AI för stavningskontroll, rekommendationer | Oftast fritt att använda inom ramen för kommunens riktlinjer, men kan ha beroenden som behöver hanteras. |
Därför har vi en särskild utvärderingsprocess för initiativ som omfattar AI, där beredningsgruppen ansvarar för klassificering enligt AI-förordningen och sedan ger särskilda rekommendationer för att verksamheten ska kunna utvärdera och införa AI-tjänster.
Vad bör du förbereda innan du skickar in digitaliseringsärende som omfattar AI?
Alla digitaliseringsinitiativ ska skickas in till beredningsgruppen, men för initiativ som inkluderar AI behöver du inledningsvis samla in viss information som underlättar bedömningen. Detta gör att processen blir mer effektiv och att din lösning snabbare kan utvärderas steg för steg.
Den information som beredningsgruppen vill att du skickar med när du anmäler ditt digitaliseringsärende omfattar:
- Information om huruvida leverantören kallar sin tjänst/lösning eller del av sin lösning för AI, och i så fall vad leverantören säger om detta.
- Information om du anser, oavsett vad leverantören säger, att lösningen definieras som AI-system enligt AI-förordningen:
"Ett maskinbaserat system som är utformat för att fungera med varierande grad av autonomi och som kan uppvisa anpassningsförmåga efter införande och som, för uttryckliga eller underförstådda mål drar slutsatser härledda från den indata det tar emot, om hur utdata såsom förutsägelser, innehåll, rekommendationer eller beslut som kan påverka fysiska eller virtuella ska genereras." - Information om du uppfattar att AI-tjänsten eller ett användande av den skulle kunna höra till kategorin högrisk, och i så fall varför. Normalt är det ganska fritt fram för offentlig sektor att använda sådana lösningar, men det kan behövas särskilda åtgärder för att undvika viss juridisk problematik och för att framtidssäkra kommunens IT-miljö.
- Fundera också på vilken roll kommunen skulle anta enligt definitionerna för leverantör eller tillhandahållare av AI-tjänsten om den tas i bruk.
Här kan du läsa mer om roller, samt hur du kan undvika att kommunen definieras som leverantör av AI.
Vilken typ av AI klassas som förbjuden eller högrisk?
Här nedan kan du läsa mer om vad som definieras som förbjudna system enligt AI-förordningen, och vad som avses med så kallade högrisk-system.
Den typ av lösningar som faller inom definitionerna för förbjudna system ska undvikas. Om en AI-tjänst däremot faller inom definitionen för högrisksystem behöver det inte innebära hinder för användning, men troligtvis krävs särskilda åtgärder innan den kan tas i bruk.
Förbjudna system enligt AI-förordningen
Förbjudna system är sådana där risken anses oacceptabel enligt AI-förordningens riskklassificering. Följande kategorier av AI-system hör hit:
|
Manipulering av beteenden (a) |
Manipulation och utnyttjande av utsatta grupper (b) |
Biometrisk kategorisering (ba) |
|
AI-system som använder subliminala tekniker bortom en persons beteendemedvetenhet för att påverka beslutsfattande eller orsaka skada |
AI-system som utnyttjar en persons eller grupps sårbarheter på grund av förväntade personlighetsdrag, social eller ekonomisk situation, ålder, fysisk eller psykisk förmåga |
Biometriska kategoriseringssystem |
|
Social poängsättning (c) |
Biometrisk identifiering på distans i realtid (d) |
"Kriminella" förutsägelser (d a) |
|
Utvärdering eller klassificering baserad på socialt beteende, personliga egenskaper eller personlighetsegenskaper vilket resulterar i ogynnsam behandling. |
AI-system med biometrisk identifiering på distans i realtid på allmänt tillgängliga platser. |
AI-system som gör riskbedömningar för att bedöma risken för att en fysisk person begår brott eller återfaller i brott eller för att förutsäga förekomst eller upprepning av administrativa överträdelser. |
|
Ansiktsigenkänning baserad på internetskrapning eller CCTV (d b) |
System för att upptäcka känslor (d c) |
Identifiering av biometrik efter fjärravläsning (d d) |
|
AI-system som skapar eller utökar databaser för ansiktsigenkänning genom oriktad skrapning av ansiktsbilder från internet eller CCTV-bilder. |
AI-system för att härleda känslor hos en fysisk person inom följande områden: |
AI-system för analys av inspelat material från offentligt tillgängliga platser genom biometrisk fjärridentifiering "post". |
Högrisksystem
Ett högrisksystem enligt AI-förordningen är till exempel ett AI-system som rör biometri, kritisk infrastruktur, utbildning och yrkesutbildning, sysselsättning, arbetsledning och tillgång till företagande, tillgång till och åtnjutande av grundläggande privata tjänster och offentliga tjänster och förmåner, brottsbekämpning, migrations-, asyl- och gränskontrollförvaltning, rättskipning och demokratiska processer.
Observera att bedömningen här görs av leverantören, och ska både vara dokumenterad och registrerad i en EU-databas innan systemet tas i bruk.
Några konkreta exempel med utgångspunkt i kommunal verksamhet:
- Utbildning och yrkesutbildning. T. ex. AI-system som är avsedda att användas för rekrytering eller urval av fysiska personer, och då särskilt för att publicera riktade platsannonser, analysera och filtrera platsansökningar och utvärdera kandidater, samt besluta om tillträde eller anvisa fysiska personer.
- Grundläggande privata och offentliga tjänster och förmåner. T. ex. AI-system som är avsedda att användas av myndigheter eller för offentliga myndigheters räkning för att utvärdera fysiska personers rätt till förmåner och tjänster i form av offentligt stöd, samt för att bevilja, ändra eller återkräva sådana förmåner och tjänster. Andra exempel kan vara AI-system avsedda för att fatta beslut som påverkar villkor, befordringar och uppsägningar av arbetsrelaterade avtalsförhållanden eller för uppgiftsfördelning på grundval av individuellt beteende, personlighetsdrag eller egenskaper eller för att övervaka och utvärdera personers prestationer och beteende inom ramen för sådana förhållanden.
- Rättsskipning och demokratiska processer. T.ex. AI-system som är avsedda att hjälpa en rättslig myndighet att undersöka och tolka fakta och lagstiftning och att tillämpa lagen på konkreta fakta.