RAPPROCHEMENT PHYSIONOMIQUE D’INVESTIGATION

À DES

FINS

PROJET ANR CSOSG 2012

WISG 2017 Paris , le 15 septembre 2017 Alain Sroussi OT-MORPHO

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE - Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

Objectifs du projet

4 Recherche, développement et validation de technologies innovantes §  Rapprochement physionomique à des fins d’investigations à partir de visages

4 Outils de rapprochement physionomique §  Données de recherche en environnement non contrôlé §  Données de référence anthropométrique de bonne qualité

4 Evaluation de la performance opérationnelle §  Amélioration et redressement d’image §  Nouvelles mesures de similarité

4 Etude qualitative et quantitative sur l’acceptabilité sociétale de cette technologie

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

1

Enchaînement des Tâches T0 – Gestion de projet T1 Expression du besoin et scénarios T2 Définition d’une méthodologie de test

T7 Etude sociétale

T3 Interface d’exploitation ergonomique T4 Outils de compensation T5 Outils de rapprochement physionomique T6 Evaluation T8 – Dissemination et valorisation

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

2

EXPRESSION DU BESOIN

4 Objectifs §  Identification des besoins des services d’investigation de la Police, §  Démarche auprès de la CNIL

PP(PJ) a effectué des comparaisons pendant la durée du projet: •  images d’enquêtes reçues qui n’auraient pas conduit à des identifications par les outils disponibles •  affaires non résolues Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

3

INTERFACE D’EXPLOITATION ERGONOMIQUE

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

4

OUTIL D’AMÉLIORATION DE PORTRAIT – SENSORIT/MORPHO (T3)

Ø Logiciel de redressement 3D des visages • 

Orientation du visage 3D

Ø Interface tactile •  • 

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

5

Redressement de visages Manipulation intuitive

REDRESSEMENT

FRONTAL DU VISAGE ET SYMETRISATION

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

6

OUTILS DE COMPENSATION DE POSE ET D’APPARENCE

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

7

OUTILS DE RAPPROCHEMENT PHYSIONOMIQUE – GREYC/INRIA/ MORPHO (T4)

Ø Comparaisons des détection des points caractéristiques d’un visage

Performances relatives au système Morpho (22 points)

•  • 

Précision : emplacement des points fortement lié au système d’appariement (matching) Nombre de points : déterminant pour le redressement 3D

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

8

                                                       

OUTILS DE COMPENSATION DE VARIATION DE POSE ET D'APPARENCE - MORPHO (T4)

Ø Correction d’expression Performance     Rang  1   Mul1PIE  

Ø Correction de distorsion Ø Réparation des occultations

                                                       

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

9

Pose   frontale   Eclairage   variant  

Eclairage  uniforme   Orienta(on   0°  

Orienta(on   30°  

Sans  correc(on  

89,8%  

89,7%  

59,3%  

Neutralisa(on   d’expression  

90,8%  

91,35%  

63,45%    

Transfert   d’expression  

97,9%  

98,3%  

82,7%  

Etat  de  l’art  

77,1%  

-­‐  

-­‐  

PERSPECTIVE

CORRECTION

- MPH

•  Objective •  Perspective deformation (acquisition close to the camera on selfies for example) has a huge impact on the biometrics performances. •  Estimate the 3D position of the face/the focal/the shape of the face weak perspective model

perspective model

Weak perspective modeling allows only approximated shape estimation from real images.

Modeling

Weak perspective (orthographic)

Perspective

Pose system

Relative to the image

Relative to the 3D world

Position

2D in the image (xt, yt)

3D (x, y, z)

Scale

Scaling factor f(location, focal, pose)

Intrinsic to the object

Camera parameters

No parameterization

Focal to determine

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

10

PERSPECTIVE

CORRECTION

- MPH

•  Methods •  Estimation jointly the 3D position, the focal, the shape, the pose and the expression

•  Results •  On smartphone data, •  improvement of 15% relative.

Perspective (various focal)

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

11

Weak perspective/ Orthographic

OUTILS DE RAPPROCHEMENT PHYSIONOMIQUE – GREYC/INRIA/ MORPHO (T4)

Ø Détection automatique des occultations •  Eviter une détection manuelle

Input  

Superpixels   Output  

Without   superpixels  

Input  

Output  

Ø Classification des régions occultées : oui/ non

•  Apprentissage sur la base des visages annotés avec occultations manuellement

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

12

                                                         

Occlusion Detection - INRIA

•  Final version: de-convolutional neural networks •  Following Noh et al, ICCV 2015 •  Post-processing by super-pixel classification •  Tested state-of-the-art on Part Labels face segmentation data set

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

13

Logo partenaire

OUTILS DE RAPPROCHEMENT PHYSIONOMIQUE

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

14

Coordinated local metric learning (INRIA) •  Goal: fast and accurate face retrieval in a large dataset •  Local metric learning •  Group faces into coherent clusters •  Use group-specific similarity measure •  Coordination: allow retrieval beyond group assigned to query image •  Allows more groups to be used, avoid hard group boundary

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

15

Logo partenaire

LEARNING OUTSIDE THE

4  Gender

LAB : GENDER MPH

Gender: training on the Police data

Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

16

LEARNING OUTSIDE THE

LAB, AGE : MPH

Age: training on the Police data

Reads: around 50%of the data have an abs. error < 5 years Reads: around 25%of the data have an abs. error < 5 years

Distribution of age labels in 57k training subset. We used max 1000 images per year. Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

17

EN CONCLUSION

4 Evaluation des algorithmes sur des données réelles par les utilisateurs finaux §  Test du logiciel tactile d’aide au technicien spécialisé après training : §  Test Préfecture de Police ( SRIJ) §  Test Gendarmerie Nationale ( IRCGN)

4 Rapport de test du SRIJ de la surface tactile - Octobre 2015 : « Il est manifeste que l’approche tactile de l’amélioration d’image de visage au moyen de la tablette informatisée est globalement très fonctionnelle. En effet, l’image résultante après traitement présente un visuel amélioré et constitue une aide pour l’opérateur chargé de valider un éventuel rapprochement positif sur l’outil MFI.  » 4 De nombreux tests sur les données réelles sur l’évaluation d’un estimateur d’âge et de genre. 4 Apprentissage sur des données réelles a permis de réelles améliorations des algorithmes et se généralise. Ce document est la propriété des entités constituantes du projet PHYSIONOMIE Il ne peut être communiqué à des tiers et/ou reproduit sans l’autorisation explicite de Morpho

18

Logo partenaire