TransAlgo

TransAlgoNozha Boujemaa – Directrice de Recherche Conseillère en Big Data du PDG Chef de projet TransAlgo

Décembre [email protected]

CNIL - Ethique et Numérique: les algorithmes en débat - 23 Janvier 2017

N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017

Comment est née TransAlgo?

- 2

§ Axelle Lemaire a confié au Conseil Général de l'Economie (CGE) une mission relative aux modalités de régulation des algorithmes de traitement des contenus

§ Suite à cette saisine, le CGE a livré le rapport « Modalités de régulation des algorithmes de traitement des contenus »*

§ Parmi les recommandations de ce rapport : la mise en place d’une plateforme scientifique collaborative destinée à favoriser, d’une part le développement d’outils logiciels et de méthodes de tests d’algorithmes et d’autre part la promotion de leur utilisation.

http://www.economie.gouv.fr/files/files/directions_services/cge/Rapports/2016_05_13_Rapport_Algorithmes(1).pdf


Comment est née TransAlgo?

- 3

§ Inria s’est vu confié le rôle d’opérateur d’une telle plateforme dénommée TransAlgo, avec le soutien du CNNum et de l’IMT

§ Plateforme scientifique pour le développement de la transparence et de la responsabilité des systèmes algorithmiques (dualités algorithmes et des données)

§ Le lancement de la plateforme TransAlgo contribue à ce que puisse s’appliquer l’exigence de transparence et de responsabilité des acteurs de l’économie numérique, introduit par la loi pour une République numérique.

§ Cette plateforme sera une première en Europe

N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017 - 4

§ La confiance dans les services numériques est un facteur d’adoption et de développement des marchés

§ Face à l’asymétrie informationnelle:§ Le droit d’être informé (vs. besoin de savoir)§ Le droit de comprendre

et plus généralement la protection des droits civiques

Motivations

§ Certaines plateformes dominantes sur le marché joue un rôle de « prescripteur » en orientant une grande part du trafic utilisateur :

§ Des mécanismes de tri (moteur de recherche),§ Des mécanismes de recommandation et de

sélection de contenus proposés§ Questions de neutralité, de loyauté, d’équité, de

non-discrimination, de concurrence déloyale etc

=> Criticité: Transparence, Responsabilité et Explicabilité des Algorithmes


Quelles garanties (exemples)?1. Recommandation de produit: le plus approprié aux besoins d’un

consommateur au vu de son profil (personnalisation) ou le plus recommandé au vu du stock du vendeur?

2. Quelles garanties d’impartialité à des facteurs commerciaux d'un logiciel d'aide à la navigation ? Est ce le trajet optimal pour l’utilisateur ou est ce le chemin le plus rentable pour le concepteur? *

3. Possibles pratiques illicites de différentiation des prix (pricing-volatil)4. Parfois: Opacité de l’utilisation faites des données personnelles des

utilisateurs, consentement? expérience Mobilitics CNIL-Inria5. Quelles garanties de non-discrimination (droits citoyens)?

§ Situations de recrutement, octroi de crédits bancaires etc6. Quelles vérification des contenus informationnels (fake news)?§ L'asymétrie informationnelle avérée entre les grands acteurs industriels et

les consommateurs (B2B et B2C) pourrait être rééquilibrée par des outils et des méthodes de transparence des données et des algorithmes.

* Quel impact en temps de crise?


Difficultés / Complexités

- 6

• Les méthodes et les outils techniques liés à la responsabilité et à la transparence des algorithmes sont un sujet complexe et multiforme.

• Les propriétés que l’on souhaite vérifier, par exemple: l'équité, la non-discrimination ou la loyauté... incluent une part importante de subjectivité et de choix de conceptiondépendant des cas d'usage et des contextes qui rend leur spécification complexe et difficile.

• Les challenges scientifiques sont nombreux et très peu de travaux de recherche sur le sujet sont encore disponibles


Enjeux TransAlgo (1/2)

- 7

§ La transparence des systèmes algorithmiques est un défi pour la recherche académique.

§ La transparence consiste à étudier les comportements d'un algorithme et à en vérifier la conformité à la loi et aux règles éthiques.

§ Il faut développer des algorithmes "Responsable-par-Construction" qui facilitent la mesure de leur transparence, leur explication et la traçabilité de leur raisonnement.

§ Un algorithme est dit « responsable » s’il respecte les lois1, et s’il se conforme à certaines règles éthiques2

1: e.g. la confidentialité de certaines données, la non-discrimination par ses critères2: e.g. la neutralité, la loyauté: se comporte comme il déclare le faire


§ Un algorithme transparent se doit de faciliter la vérification de sa responsabilité, par exemple, en ouvrant son code, en explicitant la provenance des données qu’il a utilisées*, et celles qu’il produit, en expliquant ses résultats, ou en publiant des traces de ses calculs.

§ On distingue deux cas d’études : les algorithmes dont le code est ouvert aux autorités et les algorithmes dont le code ne l’est pas (boîte noire – aucune obligation de publication de code).

§ la plateforme scientifique TransAlgo ne sera en aucun cas en charge du contrôle réglementaire des algorithmes ou de l’utilisation des données. Elle proposera une offre d’études, d’outils et de services à l’ensemble des acteurs concernés.

§ Une finalité est de permettre aux autorités de régulation de confondre les auteurs d’algorithmes « irresponsables » ne respectant pas la loi, de manière intentionnelle ou non.

* Watson et les données de santé

Enjeux TransAlgo (2/2)


TransAlgo: Expertises Numériques/SHS

- 9

§ Le développement des méthodes responsables et éthiques pour la gestion et l'analyse des données mêle diverses compétences pluridisciplinaires comme les statistiques et l'apprentissage automatique, les télécommunications, les bases de données, la visualisation des données, la cryptographie et la protection des données, l’économie des services numériques, la régulation, la sociologie computationnelle, etc.

§ Exp:Biais des systèmes algorithmiques (dualité données-algorithmes): § L’apprentissage supervisé est un système à réaction positive

§ La corrélation souvent confondue avec la causalité

§ Quels critères? Quelles données ? Quels paramétrages?


Objectifs TransAlgo

- 10

TransAlgo sera à la fois :

§ Centre de ressources : liens vers des projets pertinents, des outils, des travaux, des expériences, des points de vue, des initiatives internationales, etc. Le but est ici de centraliser les efforts de la communauté scientifique sur le sujet, d'entretenir les liens et les échanges avec d'autres initiatives internationales. La plateforme apportera des ressources comme des algorithmes et des données et un espace d'expérimentation logicielle pour la mesure des différents aspects de la transparence ;

§ Instrument d'incitation pour le développement de nouveaux outils et méthodes via des appels à projets de recherche ciblés, des challenges, des expérimentations, etc ;

§ Moyen de promotion de ces outils et méthodes auprès des pouvoirs publics, des industriels et des citoyens et d'aide à la transformation des systèmes algorithmiques existants.


Partenaires et Acteurs potentiels

- 11

§ Avec le soutien du CNNum et de l’IMT

§ Répondre à des défis scientifiques => Académiques (universités, écoles, organismes)

§ Avoir un ancrage répondant à des cas d'usage du monde réel et des remontées d’expression de besoin:§ Le CNNum, la DGCCRF, La CNIL, la DGE, la CERNA, l’ARCEP,

l’ANSSI, etc

§ Industriels: GE, PME, Start-up

§ Utilisateurs et consommateurs: FING, Que-Choisir, etc

§ Fonctionnement inclusif et ouvert


Calendrier TransAlgo?

- 12

1ère Phase Fin Mars - Centre de ressources: § Portail web regroupant les articles, les livres blancs, les

initiatives internationales, les logiciels (sources ou exécutables) disponibles

§ Conceptualisation et définition des différentes notions de transparence, loyauté, équité, non-discrimination avec des prismes interdisciplinaires

§ Définir une feuille de route et des thèmes de recherche qui touchent des compétences diverses

§ Avec le CNNum: regroupement des remontés des problèmes les plus observés par le citoyen, les industriels, les autorités de régulation

Merci de votre [email protected]

- 13


Challenges for Data ScienceResponsible and Ethical Data Management and AnalyticsIt is often assumed that big data techniques are unbiased:

§ because of the scale of the data

§ because the techniques are implemented through algorithmic systems.

Þ it is a mistake to assume they are objective simply because they are data-driven * (“Data fundamentalism”)

Consensus is emerging to develop methods and Tools to build Trust over Transparency & Accountability for Data and AlgorithmsÞ Implementing the “Responsible-by-design” principle

(fairness/equity, loyalty, neutrality etc.)

* White House – OSTP Report « Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights », May 2016

* Federal Trade Commission Report: “Big Data: A Tool for Inclusion or Exclusion? January 2016

- 14


Mastering Big Data Technologies: Bias problems could impact data technologies accuracy and people’s lives

Challenges 1: Data Inputs to an Algorithm § Poorly selected data § Incomplete, incorrect, or outdated data § Data sets that lack disproportionately represent certain populations§ Malicious attack

Challenges 2: The Design of Algorithmic Systems and Machine Learning

§ Poorly designed matching systems § Unintentional perpetuation and promotion of historical biases § Decision-making systems that assume correlation implies causation

Data Science Challenges:Responsible and Ethical Data Management and Analytics

- 15


§ Trust and Transparency of computer-aided decision-making process (decision responsibility): what are the different criteria/data/settings that have led to the specific decision in order to understand the global path for the reasoning?

§ “How can I trust Machine Learning prediction?” it happens to build the model of the object context rather the object itself

§ Decision explanation and tractability§ Robustness to bias/diversion/corruption § Careful software reuse

Data Science Challenges:Responsible and Ethical Data Management and Analytics

- 16


DARPA initiative: Explainable AI (August 2016)

The Explainable AI (XAI) program aims to create a suite of machine learning techniques that:

- 17

• Produce more explainable models, while maintaining a high level of learning performance (prediction accuracy);

• Enable human users to understand, appropriately trust, and effectively manage the emerging generation of artificially intelligent partners.


Potential Synergies for International collaborations1. Opening the black box of Deep Learning,

2. Trustworthiness of Machine Learning Algorithms (bias typology, software reuse, etc.)

3. Algorithmic explanability approaches,

4. Cross views on fairness definitions and related measuring methods

5. Interdisciplinary Training for Data Scientist (in addition to Maths-Computer Science)

- 18


§ Algorithmic systems transparency is essential for trust in digital services and appropriation

§ Transparency and Responsible-by-Design approaches are economical competitiveness factors

§ Tools for consumers (b2b & b2c) empowerment

§ Tools for regulators (Loi pour la République Numérique)

Conclusion :

TransAlgo

Data & Analytics

Transcript of TransAlgo