Procédure de « mixup » augmentée pour l’apprentissage collaboratif préservant la confidentialité

Le « mixup » consiste à entraîner des réseaux neuronaux sur des combinaisons convexes d’échantillons d’entrée et d’étiquettes ; cette technique a été adaptée à l’apprentissage collaboratif préservant la confidentialité, notamment dans le cadre d’InstaHide. Cependant, les schémas d’obfuscation basés sur le mélange créent des systèmes linéaires structurés qui peuvent être exploités pour reconstruire les données privées sous-jacentes. Nous proposons une procédure de mixup singularisée qui injecte des perturbations contrôlées avant la formation des combinaisons convexes, rendant ainsi le problème inverse résultant mal conditionné tout en préservant la structure discriminante. Nous fournissons une analyse théorique en cas moyen qui caractérise le compromis sécurité-utilité via des bornes de reconstruction minimax et un contrôle directionnel du rapport signal/bruit. Sur le plan empirique, nous évaluons la précision de classification sur MNIST, CIFAR-10, CIFAR-100 et Tiny-ImageNet, et la comparons à celle d’InstaHide, observant une précision compétitive, voire améliorée, dans des conditions de confidentialité strictes. Nous évaluons la robustesse face aux attaques de reconstruction tant linéaires que non linéaires, y compris par des expériences d’inversion linéaire à grande échelle sur CIFAR-5M. Dans un contexte d’apprentissage collaboratif impliquant plusieurs parties et des partitions de données hétérogènes, nous effectuons une comparaison supplémentaire avec l’apprentissage fédéré standard (FedProx), démontrant que le « mixup » singularisé permet un apprentissage centralisé précis sans échange itératif de gradients et offre une robustesse et des performances améliorées dans des contextes hétérogènes. Dans l’ensemble, nos résultats démontrent que le « mixup » singularisé dégrade considérablement la qualité de la reconstruction tout en conservant de solides performances prédictives, offrant ainsi une approche pratique et évolutive de l’apprentissage collaboratif préservant la confidentialité.

Traduction réalisée avec l’intelligence artificielle.