Read Italian version – AI Act: un passo verso le prime regole sull’Intelligenza Artificiale

An update on the Emotion AI Debate in 2023: Regulatory Proposals and the Impact of MorphCast Technology.

Press Release

Summary of the content of the press release in object

Press release on the Project of Compromise Amendments of 16/5/2023 concerning the proposal for a regulation of the European Parliament and Council on harmonized rules on Artificial Intelligence (AI Act) and amendments to some Union legislative acts.

The amendments include bans on invasive and discriminatory uses of AI systems, such as real-time biometric recognition systems in publicly accessible spaces, biometric categorization systems using sensitive characteristics, and emotion recognition systems in the context of law enforcement, border management, workplaces, and educational institutions.

Furthermore, parliamentarians have extended the classification of high-risk areas to include harm to people’s health, safety, fundamental rights, or the environment. Providers of baseline models – a new and rapidly evolving field in AI – would have the obligation to ensure robust protection of fundamental rights, health and safety, the environment, democracy, and the rule of law.

To promote innovation in AI, parliamentarians have added exemptions to these rules for research activities and AI components provided with open-source licenses. The new regulation promotes regulatory sandboxes, namely controlled environments, established by public authorities to test AI before its deployment.

Quotes on AI Act

Brando Benifei (Socialists & Democrats, Italy), co-rapporteur, stated after the vote: “We are on the verge of enacting landmark legislation that must stand the test of time. It is crucial to build citizens’ trust in the development of AI, define the European method for addressing the extraordinary changes already underway, and drive the global political debate on AI. We are convinced that our text balances the protection of fundamental rights with the need to provide legal certainty to businesses and stimulate innovation in Europe.”

Co-rapporteur Dragos Tudorache (Renew, Romania) said: “Given the importance of the transformation that AI will have on our societies and economies, the AI Act is arguably the most important piece of legislation of this term. It is the first law of its kind globally, meaning the EU can lead the way to make AI human-centered, trustworthy, and secure. We have worked to support AI innovation in Europe and give startups, SMEs, and industry room to grow and innovate, while protecting fundamental rights, strengthening democratic oversight, and ensuring a mature system of AI governance and enforcement.”

Evidence on AI Act

I meticulously examined the 144-page document approved by the European Parliament cited in the press release, aiming to identify possible implications and any appropriate measures to be taken now. However, I believe it is still too early to formulate definitive conclusions, as these proposals, subject to possible changes over time, have not yet been formalized into law.

Here are the parts of the document that are interesting for us:

Page 140 (34) Definition

“Emotion recognition system”: an AI system for the purpose of identifying or inferring emotions, thoughts, mental states, or intentions of individuals or groups based on their biometric data or data based on their biometrics;

Page 112 (33)

The article emphasizes that biometric data, being a special category of sensitive personal data, should lead to classifying as high-risk many critical use cases of systems based on biometrics. AI systems intended for the biometric identification of natural persons and those intended to make inferences about personal characteristics of people based on biometric data, including emotion recognition systems, should therefore be classified as high risk.

Impact for MorphCast

MorphCast, as a provider of AI-based emotion recognition technologies, could be classified as high risk according to this regulation. This means that MorphCast might be subject to more stringent regulations, compliance assessments, and potential limitations in the use of its products. However, if MorphCast manages to demonstrate compliance and safety, the high-risk classification could also provide the opportunity to gain greater trust and acceptance in the market, distinguishing itself from other providers who fail to meet such standards.

Page 128 Article 5

Article 5 lists a series of practices related to artificial intelligence that will be prohibited. These include the use of AI systems that employ subliminal or manipulative techniques, that exploit the vulnerabilities of a specific individual or group, or that use biometric categorization systems based on sensitive or protected attributes. The article also prohibits the use of AI systems for social scoring or risk assessment of individuals or groups, and the use of AI systems to infer a person’s emotions in specific contexts such as law enforcement, border management, the workplace, and educational institutions.

Impact for MorphCast

If MorphCast’s systems are used to infer a person’s emotions in contexts such as law enforcement, border management, the workplace, and educational institutions, these uses would be prohibited under Article 5. The company, if these indications are included in the final law, should therefore be cautious about how and where its products are used, to ensure that they do not violate the new rules. For example, by using an ethical code and overseeing that it is respected by its customers.

Page 9 (64)

The article discusses the importance of developing adequate capacity for third-party compliance assessment of high-risk artificial intelligence systems, given their complexity and associated risks. However, considering the current experience of pre-market professional certifiers in the field of product safety and the different nature of the risks involved, it is deemed appropriate to limit, at least in an initial phase of application of this Regulation, the scope of third-party compliance assessment for high-risk AI systems that are not linked to products.

Therefore, the compliance assessment of such systems should be carried out, as a general rule, by the provider under its own responsibility. The only exception is for AI systems intended to be used for remote biometric identification of individuals, or AI systems intended to make inferences about the personal characteristics of natural persons based on biometric data or based on biometrics, including emotion recognition systems. For these systems, the involvement of a notified body in the compliance assessment should be foreseen, as long as they are not prohibited.

Impact for MorphCast

In the context of this article, MorphCast, as a provider of AI-based emotion recognition technologies, could be impacted in several ways.

On the one hand, the requirement for a compliance assessment by a notified body could entail additional costs and time, potentially representing a disadvantage if these resources are significant.

On the other hand, if MorphCast successfully demonstrates compliance with regulatory requirements, it could indeed benefit from this. Passing a third-party compliance assessment could serve as a “seal of approval” that increases customer and market trust in MorphCast’s product. This could in turn facilitate access to new markets or sectors and could distinguish MorphCast from competitors who are unable to demonstrate the same compliance.

In any case, how the regulation will impact MorphCast will depend on multiple factors, including the specific details of the regulation, the exact nature of MorphCast’s technologies, and how the company chooses to respond to these challenges and opportunities.

Page 127 (26c)

The article expresses serious concerns about the scientific basis of AI systems aimed at detecting emotions, physical or physiological characteristics such as facial expressions, movements, pulse rate, or voice. Emotions or expressions of emotions and their perceptions vary greatly between cultures and situations, and even within a single individual. Among the main deficiencies of such technologies, there are limited reliability, lack of specificity, and limited generalizability. Questions of reliability arise and, as a result, greater risks of abuse, especially when the system is used in real-life situations related to law enforcement, border management, the workplace, and educational institutions. Therefore, the marketing, commissioning, or use of AI systems intended to be used in these contexts to detect individuals’ emotional state should be prohibited.

Impact for MorphCast

If the proposal becomes law as formulated, it could have a significant impact on MorphCast’s operations. The company might have to face limitations in the use of its technologies in certain contexts, such as law enforcement, border management, the workplace, and educational institutions. This could require MorphCast to review its product and market strategies to adapt to the new rules and limitations.

AI Act: what to do

Given the nature of the proposed regulation, we should continue the strategies put in place since January 2023 and consider the following actions:

Continuous monitoring of the legislative landscape: Keep an eye on legislative and regulatory developments to ensure that MorphCast remains in compliance with any new regulations or legislation. This can also help the company anticipate and prepare for any future changes. Pay particular attention to meeting the requirements that will be introduced for conformity assessment by notified bodies.

Adaptation to markets outside the mentioned hazardous contexts and adaptation of technology within those mentioned contexts. If regulation restricts the use of some MorphCast products in specific contexts like law enforcement, border management, workplaces, and educational institutions, the company should turn to other markets and applications for its technologies and aim to develop technologies for use outside the high-risk contexts. For example, entertainment, test groups in protected environments, advertising, healthcare, and others. In addition to this, the company should adapt its technology by eliminating emotion tracking in contexts deemed dangerous, replacing it with tracking physical presence and degree of attention to content, for example, in education. Exclude law enforcement and border protection personnel from possible use of its technologies.

Communication and transparency: It is important to clearly communicate the benefits and reliability of MorphCast’s emotion recognition solutions to existing and potential customers, as well as to regulators. Transparency about the reliability and validity of MorphCast technologies can help build trust and address any concerns.

Review of current technologies: Check if the current AI solutions for emotion recognition meet the reliability, specificity, and generalizability criteria indicated in the regulation. If there are areas where current technologies are not up to par, it will be necessary to invest in research and development to address these shortcomings.

Conclusions: AI Act and MorphCast

Despite the challenges posed by the new regulation, there are many opportunities for MorphCast in the field of AI-based emotion recognition as long as the company is sensitive to transparency, sustainability, human rights defense, ethics, and responsibility. The company has been investing for months in this direction and information about the progress made in this regard can be found summarized and with hyperlinks on the Mission & Company Social Responsibility page.

I would like to remind you that MorphCast holds two specific patents related to interactive videos that respond in real time to the user’s emotions. This vision of emotional interactivity has been our goal from the beginning, which is why we filed the patent applications in 2014, which were later granted, and developed the Emotion AI Interactive Video Platform.

This platform, except in cases of extremely manipulative and distorted use, does not have characteristics that would make it fall within the scope of application of the regulation in question. Indeed, I want to stress that MorphCast’s Emotion AI Interactive Video Platform is not just a sophisticated emotion recognition technology. Based on cutting-edge technologies derived from the video game industry, this platform is the result of years of research and significant investment by our company. Today, it holds great potential for future development. More than a simple Emotion AI tool, the platform is an innovative tool for creating interactive media that reacts to the user’s emotions. This feature makes it particularly suitable for applications in the advertising and entertainment sectors, areas which, by their nature, are excluded from the scope of the regulation in question. Therefore, while considering the importance of regulation in terms of emotion recognition, the value and potential of our technology goes well beyond this aspect.

AI Act: un passo verso le prime regole sull’Intelligenza Artificiale

Un aggiornamento sull’Emotion AI Debate in 2023: Regulatory Proposals and the Impact of MorphCast Technology.

Comunicato

Riepilogo il contenuto del comunicato stampa in oggetto

Comunicato stampa Progetto di Emendamenti di Compromesso del 16/5/2023 riguardante la proposta di un regolamento del Parlamento Europeo e del Consiglio sulle regole armonizzate sull’Intelligenza Artificiale (AI Act) e modifiche ad alcuni atti legislativi dell’Unione.

Gli emendamenti includono divieti su usi invasivi e discriminatori di sistemi di IA, come i sistemi di riconoscimento biometrico in tempo reale in spazi pubblici accessibili, sistemi di categorizzazione biometrica che utilizzano caratteristiche sensibili e sistemi di riconoscimento delle emozioni in ambito delle forze dell’ordine, gestione dei confini, posto di lavoro e istituzioni educative.

Inoltre, i parlamentari hanno esteso la classificazione delle aree ad alto rischio per includere il danno alla salute delle persone, la sicurezza, i diritti fondamentali o l’ambiente. I fornitori di modelli di base – una nuova e veloce evoluzione nel campo della IA – avrebbero l’obbligo di garantire una robusta protezione dei diritti fondamentali, della salute e della sicurezza e dell’ambiente, della democrazia e dello stato di diritto.

Per promuovere l’innovazione nell’IA, i parlamentari hanno aggiunto esenzioni a queste regole per le attività di ricerca e i componenti di IA forniti con licenze open-source. Il nuovo regolamento promuove sandbox regolamentari, ovvero ambienti controllati, istituiti dalle autorità pubbliche per testare l’IA prima del suo impiego.

Citazioni sull’AI Act

Brando Benifei (Socialisti & Democratici, Italia), co-relatore, ha dichiarato dopo il voto: “Siamo sul punto di mettere in atto una legislazione di riferimento che deve resistere alla sfida del tempo. È fondamentale costruire la fiducia dei cittadini nello sviluppo dell’IA, definire il metodo europeo per affrontare i cambiamenti straordinari già in atto e guidare il dibattito politico globale sull’IA. Siamo convinti che il nostro testo bilanci la protezione dei diritti fondamentali con la necessità di fornire certezza giuridica alle imprese e stimolare l’innovazione in Europa.”

Il co-relatore Dragos Tudorache (Renew, Romania) ha detto: “Data l’importanza della trasformazione che l’IA avrà sulle nostre società ed economie, l’AI Act è molto probabilmente il pezzo legislativo più importante di questo mandato. È la prima legge di questo tipo a livello mondiale, il che significa che l’UE può guidare la strada per rendere l’IA centrata sull’uomo, affidabile e sicura. Abbiamo lavorato per sostenere l’innovazione dell’IA in Europa e per dare alle startup, alle PMI e all’industria spazio per crescere e innovare, proteggendo nel contempo i diritti fondamentali, rafforzando la supervisione democratica e garantendo un sistema maturo di governance ed enforcement dell’IA.”

Evidenze sull’AI Act

Ho esaminato meticolosamente il documento di 144 pagine approvato dal Parlamento Europeo citato nel comunicato stampa, con lo scopo di identificare possibili implicazioni e le eventuali adeguate misure da adottare già da ora. Tuttavia, ritengo che sia ancora troppo presto per formulare conclusioni definitive, in quanto queste proposte, soggette a possibili modifiche nel tempo, non sono ancora state formalizzate in legge.

Di seguito le parti per noi interessanti del documento

Pagina 140 (34) Definizione
«sistema di riconoscimento delle emozioni»: un sistema di IA allo scopo di identificare o dedurre emozioni, pensieri, stati mentali o intenzioni di individui o gruppi sulla base dei loro dati biometrici o dati basati sulla loro biometria;

Pagina 112 (33)

L’articolo sottolinea che i dati biometrici, essendo una categoria speciale di dati personali sensibili, dovrebbero portare a classificare come ad alto rischio molti casi d’uso critici di sistemi basati su biometria. I sistemi di IA destinati all’identificazione biometrica delle persone naturali e quelli destinati a fare inferenze sulle caratteristiche personali delle persone sulla base di dati biometrici, compresi i sistemi di riconoscimento delle emozioni, dovrebbero quindi essere classificati come ad alto rischio.

Impatto per MorphCast

MorphCast, essendo un provider di tecnologie di riconoscimento delle emozioni basate su IA, potrebbe essere classificato come ad alto rischio secondo questo regolamento. Questo significa che MorphCast potrebbe essere soggetto a regolamenti più rigorosi, valutazioni di conformità e potenziali limitazioni nell’uso dei suoi prodotti. Tuttavia, se MorphCast riesce a dimostrare conformità e sicurezza, la classificazione ad alto rischio potrebbe anche fornire l’opportunità di guadagnare maggiore fiducia e accettazione nel mercato, distinguendosi da altri fornitori che non riescono a soddisfare tali standard.

Pagina 128 Articolo 5

L’articolo 5 elenca una serie di pratiche relative all’intelligenza artificiale che saranno proibite. Queste includono l’uso di sistemi di IA che impiegano tecniche subliminali o manipolative, che sfruttano le vulnerabilità di una persona o un gruppo specifico di persone, o che impiegano sistemi di categorizzazione biometrica basati su attributi sensibili o protetti. L’articolo proibisce inoltre l’uso di sistemi di IA per la valutazione sociale o la valutazione del rischio di individui o gruppi, e l’uso di sistemi di IA per inferire le emozioni di una persona in specifici contesti come le forze dell’ordine, la gestione dei confini, il posto di lavoro e le istituzioni educative.

Impatto per MorphCast

Se i sistemi di MorphCast vengono utilizzati per inferire le emozioni di una persona in contesti come le forze dell’ordine, la gestione dei confini, il posto di lavoro e le istituzioni educative, questi usi sarebbero proibiti secondo l’articolo 5. L’azienda, se tali indicazioni saranno riportate nella legge definitiva, dovrebbe quindi essere attenta a come e dove vengono utilizzati i suoi prodotti, per garantire che non violino le nuove norme. Per esempio utilizzando un codice etico e vigilando affinché venga rispettato dai propri clienti.

Pagina 9 (64)

L’articolo discute l’importanza di sviluppare una capacità adeguata per l’applicazione della valutazione di conformità da parte di terzi per i sistemi di intelligenza artificiale ad alto rischio, data la loro complessità e i rischi associati. Tuttavia, vista l’esperienza attuale dei certificatori professionali pre-mercato nel campo della sicurezza del prodotto e la natura diversa dei rischi coinvolti, si ritiene appropriato limitare, almeno in una fase iniziale di applicazione di questo Regolamento, l’ambito di applicazione della valutazione di conformità da parte di terzi per i sistemi di IA ad alto rischio che non sono legati ai prodotti.

Pertanto, la valutazione di conformità di tali sistemi dovrebbe essere effettuata, come regola generale, dal fornitore sotto la sua stessa responsabilità. L’unica eccezione è per i sistemi di IA destinati ad essere utilizzati per l’identificazione biometrica remota delle persone, o sistemi di IA destinati a fare inferenze sulle caratteristiche personali delle persone naturali sulla base di dati biometrici o basati su biometria, compresi i sistemi di riconoscimento delle emozioni. Per questi sistemi, dovrebbe essere previsto il coinvolgimento di un ente notificato nella valutazione di conformità, nella misura in cui non siano proibiti.

Impatto per MorphCast

Nel contesto di questo articolo, MorphCast, come provider di tecnologie di riconoscimento delle emozioni basate sull’IA, potrebbe essere influenzato in diversi modi.

Da un lato, la necessità di una valutazione di conformità da parte di un ente notificato potrebbe comportare costi e tempo aggiuntivi, potenzialmente rappresentando uno svantaggio se queste risorse sono significative.

D’altro canto, se MorphCast riesce a dimostrare la conformità ai requisiti regolamentari, potrebbe effettivamente trarne vantaggio. Il superamento di una valutazione di conformità da parte di terzi potrebbe servire come un “sigillo di approvazione” che aumenta la fiducia dei clienti e del mercato nel prodotto di MorphCast. Questo potrebbe a sua volta facilitare l’accesso a nuovi mercati o settori e potrebbe distinguere MorphCast dai concorrenti che non sono in grado di dimostrare la stessa conformità.

In ogni caso, il modo in cui il regolamento influenzerà MorphCast dipenderà da molteplici fattori, inclusi i dettagli specifici del regolamento, l’esatta natura delle tecnologie di MorphCast, e come l’azienda sceglie di rispondere a tali sfide e opportunità.

Pagina 127 (26c)

L’articolo esprime preoccupazioni serie riguardo alla base scientifica dei sistemi di IA volti a rilevare emozioni, caratteristiche fisiche o fisiologiche come espressioni facciali, movimenti, frequenza del polso o voce. Le emozioni o le espressioni di emozioni e le loro percezioni variano notevolmente tra culture e situazioni, e anche all’interno di un singolo individuo. Tra le principali carenze di tali tecnologie, ci sono la limitata affidabilità, la mancanza di specificità e la limitata generalizzabilità. Si pongono questioni di affidabilità e, di conseguenza, rischi maggiori di abuso, soprattutto quando il sistema viene utilizzato in situazioni reali legate alle forze dell’ordine, alla gestione dei confini, al posto di lavoro e alle istituzioni educative. Pertanto, la messa in commercio, la messa in servizio o l’uso di sistemi di IA destinati a essere utilizzati in questi contesti per rilevare lo stato emotivo degli individui dovrebbe essere proibito.

Impatto per MorphCast

Se la proposta passerà in legge così come formulata, potrebbe avere un impatto significativo sull’attività di MorphCast. La società potrebbe dover affrontare limitazioni nell’uso delle sue tecnologie in determinati contesti, come per le forze dell’ordine, la gestione dei confini, il posto di lavoro e le istituzioni educative. Questo potrebbe richiedere a MorphCast di rivedere le sue strategie di prodotto e mercato per adattarsi alle nuove regole e limitazioni.

AI Act: cosa fare

Data la natura del regolamento proposto, dobbiamo continuare le strategie poste in essere fin da Gennaio 2023 e considerare le seguenti azioni:

Monitoraggio continuo del panorama legislativo: Tenere d’occhio le evoluzioni legislative e regolamentari per assicurarsi che MorphCast rimanga in conformità con qualsiasi nuova normativa o regolamento. Questo può anche aiutare la società a prevedere e prepararsi per eventuali cambiamenti futuri. Porre attenzione in particolare a soddisfare i requisiti che verranno introdotti per la valutazione di conformità da parte di enti notificati.

Adattamento ai mercati fuori dai contesti di pericolosità citati ed adattamento della tecnologia negli ambiti citati. Se la regolamentazione limiterà l’utilizzo di alcuni prodotti di MorphCast in specifici contesti come le forze dell’ordine, la gestione dei confini, i luoghi di lavoro e le istituzioni educative, la società dovrebbe rivolgersi ad altri mercati e applicazioni per le sue tecnologie e mirare allo sviluppo di tecnologie da utilizzare al di fuori dell’ambito dei contesti definiti ad alta pericolosità. Ad esempio l’intrattenimento, i test group in ambienti protetti, la pubblicità, l’healthcare ed altri. Oltre a questo, la società dovrebbe adattare la propria tecnologia eliminando il tracciamento delle emozioni negli ambiti ritenuti pericolosi sostituendoli con il tracciamento della presenza fisica e del grado di attenzione ai contenuti, per esempio in ambito educativo. Escludere dal possibile utilizzo delle proprie tecnologie le forze dell’ordine e gli addetti alla protezione dei confini.

Comunicazione e trasparenza: E’ importante comunicare chiaramente i benefici e l’affidabilità delle soluzioni di riconoscimento delle emozioni di MorphCast ai clienti esistenti e potenziali, nonché ai regolatori. La trasparenza sull’affidabilità e la validità delle tecnologie di MorphCast può aiutare a costruire fiducia e ad affrontare eventuali preoccupazioni.

Revisione delle tecnologie attuali: Verificare se le attuali soluzioni di IA per il riconoscimento delle emozioni soddisfano i criteri di affidabilità, specificità e generalizzabilità indicati nel regolamento. Se ci sono aree in cui le tecnologie attuali non sono all’altezza, sarà necessario investire nella ricerca e sviluppo per affrontare queste carenze.

Conclusioni: AI Act e MorphCast

Nonostante le sfide poste dalla nuova regolamentazione (AI Act), ci sono molte opportunità per MorphCast nel campo del riconoscimento delle emozioni basato sull’IA purchè l’azienda sia sensibile alla trasparenza, sostenibilità, difesa dei diritti umani, etica e responsabilità. La società sta investendo da mesi in tale direzione e le informazioni riguardo i progressi fatti in tal senso si possono trovare sintetizzate e con collegamenti ipertestuali nella pagina Mission & Company Social Responsibility

Vorrei ricordarvi che MorphCast detiene due brevetti specifici relativi a video interattivi che rispondono in tempo reale alle emozioni dell’utente. Questa visione di interattività emozionale è stata il nostro obiettivo fin dall’inizio, ed è per questo motivo che nel 2014 abbiamo depositato le domande di brevetto, poi concesse, e sviluppato la Emotion AI Interactive Video Platform.

Questa piattaforma, salvo in casi di uso estremamente manipolativo e distorto, non presenta caratteristiche che la farebbero rientrare nell’ambito di applicazione della regolamentazione in oggetto.
Desidero infatti sottolineare che la Emotion AI Interactive Video Platform di MorphCast non è soltanto una sofisticata tecnologia di riconoscimento delle emozioni. Basata su tecnologie all’avanguardia derivate dal settore dei videogiochi, questa piattaforma è il risultato di anni di ricerca e significativi investimenti da parte della nostra società. Oggi, detiene un grande potenziale per lo sviluppo futuro. Più che un semplice strumento di Emotion AI, la piattaforma è uno strumento innovativo per la creazione di media interattivi che reagiscono alle emozioni dell’utente. Questa caratteristica la rende particolarmente adatta per applicazioni nel settore della pubblicità e dell’intrattenimento, aree che, per la loro natura, sono escluse dall’ambito di applicazione della regolamentazione in questione. Pertanto, pur considerando l’importanza della regolamentazione in termini di riconoscimento delle emozioni, il valore e il potenziale della nostra tecnologia vanno ben oltre questo aspetto.