Preavaluació

En aquest apartat podeu realitzar una preavaluació del vostre sistema d’IA en funció d’una aproximació de risc inicial que està basada en la legislació europea sobre intel·ligència artificial (AI Act). En aquesta es determinen diferents obligacions tenint en compte una aproximació de risc (que significa la major o menor probabilitat de que ocorri un dany i la gravetat d’aquest dany) segons quatre categories:

Risc inacceptable

Aquest fa referència a un conjunt molt limitat d'usos que són especialment nocius de la IA i que contravenen els valors de la UE ja que violen els drets fonamentals i, per tant, estan prohibits.

Risc alt

Aquest fa referència a un nombre limitat de sistemes d'IA que poden generar un impacte advers en la seguretat de les persones o els seus drets fonamentals segons la Carta dels Drets Fonamentals de la UE i, per tant, es consideren d'alt risc.

Risc limitat

Aquest fa referència als riscos associats a la falta de transparència en l'ús de la IA i, per tant, a la necessitat d’obligacions específiques de transparència per garantir que els humans estiguin informats quan sigui necessari, fomentant la confiança.

Risc mínim

Aquest fa referència a tots els altres sistemes d'IA que es poden desenvolupar i utilitzar d'acord amb la legislació vigent sense obligacions legals addicionals. Voluntàriament, els proveïdors d'aquests sistemes poden optar per aplicar principis ètics com els del Model PIO.

Establiment de risc inacceptable o usos prohibits

La legislació europea sobre intel·ligència artificial contempla en el seu article 5 un conjunt de pràctiques considerades de risc inacceptable perquè incideixen en els drets fonamentals i la seguretat humana de manera tan greu que el seu ús no pot ser permès. Per aquest motiu, qualsevol sistema d’IA que coincideixi amb alguna d’aquestes pràctiques no podrà ser comercialitzat, desenvolupat ni utilitzat dins del territori de la UE.

A continuació trobareu un llistat dels usos inacceptables. Si algun d'ells s’aplica al vostre sistema, no és necessari que completeu les preguntes del Model, ja que aquest ha estat pensat per avaluar sistemes que podran ser efectivament utilitzats d’acord amb la legislació.

Usos prohibits

Seleccionar risc

Aquesta taula conté les pràctiques considerades d’usos prohibits per l’article 5 del Reglament 2024/1689 del Parlament i del Consell sobre intel·ligència artificial (AI Act).

Sistemes que despleguen tècniques subliminars, enganyoses o manipuladores que alterin el comportament d’una persona o grup de persones perquè prenguin una decisió que causi perjudicis significatius a ella mateixa o altres persones.

Sistemes d’IA que exploten les vulnerabilitats d’una persona o grup de persones (per exemple l’edat, la situació social o econòmica o la capacitat mental) alterant el seu comportament de manera que causi perjudicis significatius a ella mateixa o altres persones.

?

Sistemes d’IA que avaluen o classifiquen persones físiques o grups de persones durant un període de temps determinat en funció del seu comportament social o les seves característiques personals o altres conegudes, deduïdes o previstes amb els següents efectes:

  1. contextos socials que no guarden relació amb la raó que van donar lloc a la recopilació originària o generació de les dades.
  2. tracte no justificat o desproporcionat respecte al comportament social o llur gravetat.

Sistemes d’IA que duen a terme avaluació de riscos de persones físiques amb el fi d’avaluar o predir el risc que una persona cometi un delicte basat únicament en l’elaboració de perfils, avaluació dels seus trets i característiques de personalitat.

?

Sistemes d’IA que creen o amplien les bases de dades de reconeixement facial mitjançant l’abocament no selectiu d’imatges facials d’internet o gravacions de càmeres de videovigilància.

Sistemes d’IA que infereixen en les emocions d’una persona física en els àmbits del lloc de feina i les institucions educatives.

?

Sistemes de categorització biomètrica que categoritzen individualment a persones físiques a partir de llurs dades biomètriques per a deduir o inferir la seva raça, opinions polítiques, afiliació sindical, creences religioses o filosòfiques, vida sexual o orientació sexual.

?

Sistemes d’identificació biomètrica remota en temps real en espais de públic accés amb fins policials.

?

Establiment de risc alt, risc limitat o risc baix

En aquest apartat trobareu les qüestions que us permetran saber el nivell de risc associats al vostre sistema més enllà del risc inacceptable o usos prohibits. Per a completar la preavaluació si us plau seguiu el següent circuït:

Risc alt

Seleccionar risc

Aquesta taula conté les pràctiques considerades d’alt risc per l’article 6 del Reglament 2024/1689 del Parlament i del Consell sobre intel·ligència artificial (AI Act).

Si contesteu de forma afirmativa a una o més de les següents preguntes, llavors podeu considerar que el vostre sistema està considerat d’aquest grup de risc.

El vostre sistema d’IA és un producte, o es tracta d’un component de seguretat d’un producte, subjecte a la normativa europea continguda a l’Annex I de la AI Act? 

?

El vostre sistema d’IA és un producte, o es tracta d’un component de seguretat d’un producte, que ha de ser sotmès a una avaluació de conformitat per tercers abans de poder ser comercialitzada o posada en servei d’acord amb la normativa europea continguda a l’Annex I de la IA Act? 

?

El vostre sistema s’utilitza per a la identificació biomètrica i categorització de persones físiques en base a dades sensibles o reconeixement d’emocions (sense incloure sistemes que únicament confirmen la identitat de la persona física)?

?

El vostre sistema s’utilitza per les Administracions públiques per gestionar i explotar infraestructures crítiques, trànsit en temps real o subministrament de gas, aigua, calefacció o electricitat?  

?

El vostre sistema s’utilitza a l’àmbit educatiu o de formació professional per a determinar l’admissió o l’accés d’alumat; per avaluar resultats, o el nivell d’educació adequat; o per a monitoreig i detectar comportaments prohibits?

?

El vostre sistema s’utilitza per controlar l’accés als llocs de feina i el departament de Recursos Humans, en general?

?

El vostre sistema és utilitzat per entitats, públiques o privades, les quals presten serveis essencial (per exemple  un sistema que determini quines persones podran beneficiar-se d’ajudes econòmiques públiques o bé, de la seva admissió a programes socials d’entitats privades)? 

?

El vostre sistema és utilitzat en l’àmbit jurídic per part de les autoritats policials, agències, administracions o institucions per tal d’avaluar els riscos que té una persona de ser víctima d’infraccions penals; en l’ús de polígrafs o eines semblants; avaluar les proves usades durant les investigacions; o avaluar les probabilitats de delinquir o reincidir, més enllà de l’elaboració de perfils?

?

El vostre sistema es utilitzat en matèria de migració, asil i control de fronteres per les autoritats públiques mitjançant eines com el polígraf o similars per avaluar riscos (en la seguretat, sanitat i migració irregular), sol·licituds (d’asil, visat, permís de residència i reclamacions) o detectar, reconèixer o identificar persones (excepte, la verificació de documents de viatge)?

?

Risc limitat

Seleccionar risc

Aquesta taula conté les pràctiques considerades de risc limitat relatives als sistemes d'IA generativa i als sistemes de reconeixement d'emocions i identificació biomètrica no inclosos com a sistemes prohibits o d'alt risc, segons l'article 52 de la legislació europea d’intel·ligència artificial (AI Act). Si contesteu de forma afirmativa a una o més de les següents preguntes, llavors podeu considerar que el vostre sistema està considerat d'aquest grup de risc.

Si contesteu de forma afirmativa a una o més de les següents preguntes, llavors podeu considerar que el vostre sistema està considerat d’aquest grup de risc

El vostre sistema d’IA és un producte, o es tracta d’un component de seguretat d’un producte, subjecte a la normativa europea continguda a l’Annex I de la AI Act? 

?

El vostre sistema d’IA és un producte, o es tracta d’un component de seguretat d’un producte, que ha de ser sotmès a una avaluació de conformitat per tercers abans de poder ser comercialitzada o posada en servei d’acord amb la normativa europea continguda a l’Annex I de la IA Act? 

?

El vostre sistema s’utilitza per a la identificació biomètrica i categorització de persones físiques en base a dades sensibles o reconeixement d’emocions (sense incloure sistemes que únicament confirmen la identitat de la persona física)?

?

El vostre sistema s’utilitza per les Administracions públiques per gestionar i explotar infraestructures crítiques, trànsit en temps real o subministrament de gas, aigua, calefacció o electricitat?  

?

El vostre sistema s’utilitza a l’àmbit educatiu o de formació professional per a determinar l’admissió o l’accés d’alumat; per avaluar resultats, o el nivell d’educació adequat; o per a monitoreig i detectar comportaments prohibits?

?

El vostre sistema s’utilitza per controlar l’accés als llocs de feina i el departament de Recursos Humans, en general?

?

El vostre sistema és utilitzat per entitats, públiques o privades, les quals presten serveis essencial (per exemple  un sistema que determini quines persones podran beneficiar-se d’ajudes econòmiques públiques o bé, de la seva admissió a programes socials d’entitats privades)? 

?

El vostre sistema és utilitzat en l’àmbit jurídic per part de les autoritats policials, agències, administracions o institucions per tal d’avaluar els riscos que té una persona de ser víctima d’infraccions penals; en l’ús de polígrafs o eines semblants; avaluar les proves usades durant les investigacions; o avaluar les probabilitats de delinquir o reincidir, més enllà de l’elaboració de perfils?

?

El vostre sistema es utilitzat en matèria de migració, asil i control de fronteres per les autoritats públiques mitjançant eines com el polígraf o similars per avaluar riscos (en la seguretat, sanitat i migració irregular), sol·licituds (d’asil, visat, permís de residència i reclamacions) o detectar, reconèixer o identificar persones (excepte, la verificació de documents de viatge)?

?

Risc mínim

Seleccionar risc

En el cas que el vostre sistema no recaigui en cap de les categories anteriors, podrà ser considerat de risc mínim. Si bé la legislació europea d’intel·ligència artificial (AI Act) pot requerir alguns requisits de transparència per a determinats sistemes d’IA d’aquest tipus, no imposa obligacions addicionals als sistemes considerats de risc mínim, però convida a comprometre’s amb codis de conducta o una avaluació ètica de forma voluntària.

Un cop sabeu la categoria de risc associada amb vostre sistema d’IA, podeu iniciar el qüestionari d’avaluació

Iniciar Model PIO

Exemples pràctics d’aplicació de la AI Act

En el cas que no tingueu clar si la legislació europea d’intel·ligència artificial (AI Act) és aplicable en el vostre cas així com la possible categoria de risc aplicable, us proporcionem 50 exemples pràctics d’aplicació de la AI Act segons el nivell de risc. Evidentment, es tracta d’exemples orientatius i, en tots els casos, aquests només serveixen com una guia referència i, per tant, no és exhaustiva i sempre cal contextualitzar-los.

Una empresa del sector de la salut utilitza una aplicació especialitzada per a la preselecció del triatge de pacients.

Una empresa que es dedica als serveis jurídics utilitza ChatGPT o Copilot per analitzar els documents dels sol·licitants de nacionalització.

Una empresa implementa un sistema de vigilància amb càmeres dotades de reconeixement facial per a la seguretat de les seves instal·lacions.

Una empresa utilitza un sistema biomètric per al control d'accés a les seves oficines, basat en empremtes digitals.

Una institució pública utilitza tecnologia de reconeixement de veu per analitzar trucades telefòniques i millorar el servei als ciutadans.

Una institució educativa utilitza un sistema d'IA per fer seguiment del rendiment acadèmic dels estudiants i predir possibles abandonaments.

Un hospital utilitza un sistema d'IA per analitzar imatges mèdiques i ajudar en el diagnòstic de malalties.

Un centre de salut utilitza un sistema de IA per a la gestió de les cites i l'organització de les llistes d'espera.

Un servei social utilitza IA per identificar famílies amb risc de patir situacions de vulnerabilitat i oferir suport proactiu.

Una empresa utilitza IA per a la selecció de personal, analitzant els currículums dels candidats i prediu el seu rendiment potencial.

Un banc utilitza IA per analitzar les sol·licituds de crèdit i avaluar la solvència dels sol·licitants.

Una asseguradora utilitza IA per detectar fraus en les reclamacions d'assegurances.

Una organització d'ajuda humanitària utilitza IA per analitzar les necessitats de les comunitats afectades per desastres naturals i planificar la distribució d'ajuda.

Una organització de salut pública utilitza IA per monitoritzar la propagació de malalties i planificar respostes d'emergència.

Una institució pública utilitza IA per gestionar el trànsit i reduir els embussos a la ciutat.

Una escola utilitza IA per personalitzar els continguts d'aprenentatge dels seus alumnes.

Una clínica veterinària utilitza IA per diagnosticar malalties en mascotes basant-se en els símptomes descrits pels propietaris.

Una empresa utilitza IA per personalitzar la publicitat en línia basant-se en el comportament de navegació dels usuaris.

Una empresa de ciberseguretat utilitza IA per detectar i prevenir atacs informàtics en temps real.

Una empresa proporciona als seus empleats un servei de ChatGPT per generar correus electrònics i altres textos.

Una empresa ha desenvolupat una eina d'imatges sintètiques basada en un LLM i l'utilitza per generar imatges pels seus documents de treball.

Una empresa proporciona un chatbot creat per ells mateixos al seu lloc web per respondre a consultes generals sobre l'empresa.

Una empresa utilitza els serveis d'un tercer per proporcionar un chatbot al seu lloc web i el contingut de l'empresa es posa a disposició del chatbot en forma de base de dades.

Una institució pública utilitza IA per predir aglomeracions com manifestacions o actes similars basant-se en dades de xarxes socials.

Una empresa utilitza un sistema d'IA per monitoritzar les xarxes socials i detectar comentaris negatius sobre la seva marca en temps real.

Una empresa de serveis financers utilitza IA per oferir assessorament financer personalitzat als seus clients.

Una plataforma de comerç electrònic utilitza IA per recomanar productes als clients basant-se en les seves preferències de compra.

Una empresa de recursos humans utilitza IA per analitzar les dades de satisfacció dels empleats i millorar l'ambient laboral.

Un centre d'atenció telefònica utilitza IA per analitzar les converses i proporcionar suport en temps real als agents.

Una empresa de serveis legals utilitza IA per revisar contractes i identificar clàusules de risc.

Una companyia d'assegurances utilitza IA per calcular primes personalitzades basant-se en els hàbits de conducció dels clients.

Una empresa de màrqueting utilitza IA per analitzar les dades de campanyes i optimitzar l'estratègia publicitària.

Una companyia aèria utilitza IA per optimitzar la programació dels vols i la gestió de les tripulacions.

Una empresa implementa sensors intel·ligents a les seves fàbriques i magatzem per monitoritzar el seus robots.

Una empresa de transport utilitza IA per optimitzar les rutes de lliurament i reduir els temps de transport.

Una farmàcia utilitza IA per gestionar les existències de medicaments i predir la demanda futura.

Un supermercat utilitza IA per analitzar els patrons de compra dels clients i optimitzar l'inventari.

Una empresa de logística utilitza IA per predir els colls d'ampolla en la cadena de subministrament i evitar retards.

Una biblioteca utilitza IA per gestionar el catàleg de llibres i recomanar lectures als usuaris.

Una universitat utilitza IA per analitzar les dades d'inscripció i predir la demanda de cursos futurs.

Un servei meteorològic utilitza IA per millorar les prediccions del temps i alertar sobre fenòmens meteorològics extrems.

Una empresa d'energia utilitza IA per predir la demanda i optimitzar la distribució d'electricitat.

Una empresa de fabricació utilitza IA per detectar defectes en la producció i millorar la qualitat dels productes.

Un centre de recerca utilitza IA per analitzar grans volums de dades i accelerar els descobriments científics.

Una empresa de telecomunicacions utilitza IA per optimitzar la xarxa i millorar la qualitat del servei.

Una empresa de turisme utilitza IA per oferir recomanacions personalitzades de destinacions i activitats als clients.

Una empresa d'arquitectura utilitza IA per generar dissenys innovadors basant-se en les preferències dels clients i les tendències del mercat.

Una empresa alimentària utilitza IA per controlar la qualitat dels productes durant el procés de producció.

Un restaurant utilitza IA per analitzar les preferències dels clients i ajustar el menú segons la demanda.

Una empresa de moda utilitza IA per preveure les tendències de mercat i optimitzar l'inventari de les botigues.