#la quadrature du net

[maybefrench]

Comment l'algorithme de la CAF va tous nous nicker :)

Le Monde a travaillé sur cette question de l'algorithme de la CAF dont La Quadrature du Net publiait le code source ( et dont je voulais parlais )

L'article/site suivant résume l'affaire :

Il existe également 3 articles payants des Décodeurs ( si besoin, dites moi et je trouverai un moyen de partager )

L'opacité des algorithmes favorise les dérives au sein des établissements publics

Dans la vie de Juliette, mère isolée, précaire et cible de l'algorithme des CAF

Profilage et discriminations : enquête sur les dérives de l'algorithme des caisses d'allocations familiales

Du coup c'est spécifiquement sur la CAF parce qu'ils ont commencés et qu'ils font ça dégueulasse. On apprend au passage que oui, ils ont bien utilisé la nationalité comme critère mais comme ça été dénoncé pendant un audit en 2020 à l'Assemblée Nationale, il parait qu'ils ont arrêté ( *quinte de toux asphyxiante* MON OEIL *quinte de toux asphyxiante* )

Mais la conclusion est la suivante : si on dénonce pas, ça ne s'arrête pas. S'il n'y a pas de question, il n'y a pas de contrôle des outils. Que si on délègue tout aux outils, on fait de la merde.

Bref, je réitère :

Bonus si vous partagez vos infos avec La Quadrature. Ou partagez, parlez-en, faites un don à La Quadrature.

Il faut que ça se sache.

PS : Quand ils parlent de contrôle, ils parlent souvent de contrôle physique. De mon expérience, il y a aussi les contrôles de situation. Et ça, y'a personne qui se déplace. Et tu sais pas pourquoi d'un coup t'en prend un. Perso, c'est dès que je fais la MOINDRE de modifications à mon dossier. Ca peut être un simple mail en mode "bonjour, je capte pas." et là tu as une réponse et le lendemain un "on a revu ta situation, tu nous DOIS DU FRIC"

Je jure, la CAF pour moi c'est Maître Folace des Tontons Flingueurs

[bauerntanz]

EuGH lässt Massenüberwachung des Internets zu

#EuGH lässt Massenüberwachung des Internets zu und ändert seine Rechtsprechung

Der EuGH hat gerade den massenhaften und automatisierten Zugriff auf IP-Adressen genehmigt. Mit dem heutigen Urteil räumt das Gericht ein, dass es seine Rechtsprechung ändern wird, wenn seine Urteile nicht umgesetzt werden. Ein Gastkommentar auf Netzpolitik.org In seinem Urteil vom 30. April 2024 teilte der Gerichtshof der Europäischen Union (EuGH) seine Einschätzung der Rechtmäßigkeit des…

[mariacallous]

A coalition of human rights groups have today launched legal action against the French government over its use of algorithms to detect miscalculated welfare payments, alleging they discriminate against disabled people and single mothers.

The algorithm, used since the 2010s, violates both European privacy rules and French anti-discrimination laws, argue the 15 groups involved in the case, including digital rights group La Quadrature du Net, Amnesty International, and Collectif Changer de Cap, a French group that campaigns against inequality.

“This is the first time that a public algorithm has been the subject of a legal challenge in France,” says Valérie Pras of Collectif Changer de Cap, adding she wants these types of algorithms to be banned. “Other social organizations in France use scoring algorithms to target the poor. If we succeed in getting [this] algorithm banned, the same will apply to the others.”

The French welfare agency, the CNAF, analyzes the personal data of more than 30 million people—those claiming government support as well as the people they live with and their family members, according to the litigation, filed to France’s top administrative court on October 15.

Using their personal information, the algorithm gives each person a score between 0 and 1, based on how likely it estimates they are to be receiving payments they are not entitled to—either as fraud or by mistake.

France is one of many countries using algorithms to search for error or fraud in its welfare system. Last year, WIRED’s three-part investigation with Lighthouse Reports into fraud-detection algorithms in European welfare systems focused on their use in the Netherlands, Denmark and Serbia.

People with higher risk scores can then be subject to what welfare recipients across the bloc have described as stressful and intrusive investigations, which can also involve their welfare payments being suspended.

“The processing, implemented by the CNAF, constitutes massive surveillance and a disproportionate attack on the right to privacy,” the legal documents on the French algorithm read. “The effects of this algorithmic processing particularly affects the most precarious people.”

The CNAF has not publicly shared the source code of the model it is currently using to detect welfare payments made in error. But based on analysis of older versions of the algorithm, suspected to be in use until 2020, La Quadrature du Net claims the model discriminates against marginalized groups by scoring people who have disabilities, for example, as higher risk than others.

“People receiving a social allowance reserved for people with disabilities [the Allocation Adulte Handicapé, or AAH] are directly targeted by a variable in the algorithm,” says Bastien Le Querrec, legal expert at La Quadrature du Net. “The risk score for people receiving AAH and who are working is increased.”

Because it also scores single-parent families higher than two-parent families, the groups argue it indirectly discriminates against single mothers, who are statistically more likely to be sole-care givers. “In the criteria for the 2014 version of the algorithm, the score for beneficiaries who have been divorced for less than 18 months is higher,” says Le Querrec.

Changer de Cap says it has been approached by both single mothers and disabled people looking for help, after being subject to investigation.

The CNAF agency, which is in charge of distributing financial aid including housing, disability, and child benefits, did not immediately respond to a request for comment or to WIRED's question about whether the algorithm currently in use had significantly changed since the 2014 version.

Just like in France, human rights groups in other European countries argue they subject the lowest-income members of society to intense surveillance—often with profound consequences.

When tens of thousands of people in the Netherlands—many of them from the country’s Ghanaian community—were falsely accused of defrauding the child benefits system, they weren’t just ordered to repay the money the algorithm said they allegedly stole. Many of them claim they were also left with spiraling debt and destroyed credit ratings.

The problem isn’t the way the algorithm was designed, but their use in the welfare system, says Soizic Pénicaud, a lecturer in AI policy at Sciences Po Paris, who previously worked for the French government on transparency of public sector algorithms. “Using algorithms in the context of social policy comes with way more risks than it comes with benefits,” she says. “I haven't seen any example in Europe or in the world in which these systems have been used with positive results.”

The case has ramifications beyond France. Welfare algorithms are expected to be an early test of how the EU’s new AI rules will be enforced once they take effect in February 2025. From then, “social scoring”—the use of AI systems to evaluate people’s behavior and then subject some of them to detrimental treatment—will be banned across the bloc.

“Many of these welfare systems that do this fraud detection may, in my opinion, be social scoring in practice,” says Matthias Spielkamp, cofounder of the nonprofit Algorithm Watch. Yet public sector representatives are likely to disagree with that definition—with arguments about how to define these systems likely to end up in court. “I think this is a very hard question,” says Spielkamp.

[gay-impressionist]

Je sais pas si tu voulais vraiment une réponse, mais re: pourquoi on veut mettre des caméras partout: au départ, c'est juste un délire sécuritaire. Les maires s'y connaissent pas trop, en même temps les entreprises de vidéo surveillance font du lobby de ouf, du coup ils se disent que bon, quelques caméras aux endroits un peu chauds, ça peut pas faire de mal. Ça montre aux petits délinquants qu'on va les choper, ça fait baisser la délinquance, c'est tout bénef. Sauf que rapidement on voit que ça marche pas. La délinquance se déplace juste ailleurs, et les caméras regardent juste les passants passer, et ça a coûté des sous qui auraient pu servir à autre chose, genre à créer des activités pour faire baisser la délinquance, à tout hasard.

Mais ça, c'est le meilleur cas.

Il y a beaucoup (difficile à chiffrer avec précision, mais plusieurs grandes villes sont dans ce cas et de plus de plus de petites) qui installent des caméras non pas pour prétendre résoudre les petites affaires de vol ou de harcèlement, mais pour de la surveillance. Quand ils parlent de "vidéo protection", rappelons qu'on est le seul pays à ne pas appeler ça "video surveillance". Le vrai but, c'est de filmer les espaces publics, d'analyser les comportements des gens, de leur montrer non pas qu'ils sont protégés, puisqu'une caméra ne peut protéger de rien, mais qu'ils sont surveillés. C'est un outil de dissuasion non seulement des délits mais aussi de tout comportement qui pourrait être mal interprété par l'algorithme ou les flics derrière l'écran. C'est évidemment extrêmement biaisé et ça cible surtout les personnes racisées, les jeunes, les sans abris, les manifestants, bref tous ceux qu'un maire sensible aux arguments du lobby des caméras ne veut pas voir traîner dans sa ville. Un algorithme n'est jamais moins biaisé que ses concepteurs.

Est-ce qu'on en est à faire de la reconnaissance faciale dans la rue, et pas juste aux portiques de lycées (ça a été fait, vraiment, à Nice et à Marseille) ? Non, pas encore, ou alors si on fait on ne s'en vante pas. Mais c'est possible, les technologies sont là et sont utilisées et les fichiers de police sont tous connectés. Mais pour l'instant, officiellement, on fait "juste" de la reconnaissance de "comportements suspects". C'est déjà beaucoup. C'est déjà trop. C'est de la surveillance biométrique, de masse, automatisée, illégale puisque les données biométriques sont des données personnelles, qui marginalise encore plus des populations déjà fragiles. On fait mine de protester contre le gouvernement chinois qui filme, contrôle et note sa population en permanence, et on en oublie qui leur vend ces technologies (nous. C'est nous. Idemia c'est français).

Enfin bref. La quadrature du net a de bons dossiers sur tout ça sur leur site, si tu veux plus d'infos. C'est eux qui portent souvent plainte, parfois contre les Gafam (notamment pour appliquer le RGPD) parfois contre la police (rapport aux drones équipés, justement, de caméras), et en ce moment ils ont justement beaucoup de choses sur les villes "intelligentes" et "sécuritaires".

J'avoue que ma question était surtout rhétorique mais très bonne analyse 👌👌

[mirrorontheworld]

Le projet de loi justice donne la possibilité aux enquêteurs d’activer à distance les appareils électroniques d’une personne à son insu. Une «surenchère sécuritaire» ainsi qu’une «grave atteinte à l’intimité», alerte la Quadrature du Net.

[stuff4zek]

And for the French out there, watch out as more and more supermarket are using an illegal AI software to catch shoplifter. There is an article from La quadrature du net on this.

https://www.laquadrature.net/2023/07/04/veesion-la-start-up-illegale-qui-surveille-les-supermarches/

We are forced to live in a system that steals from us daily, Kill snitch culture.

[grompf3]

Mastodon, modération et comptes masqués

Vous connaissez le réseau social Mastodon ?

Je vais vous parler de la question de la MOD��RATION, avec un problème bien concret qui touche votre serviteur.

Je suis actif sur ce réseau social et pas mal d'utilisateurs francophones ne voient pas ce que j'y publie. Mon profil est masqué pour ces utilisateurs.

Je rappelle que Mastodon, c'est un réseau social DÉCENTRALISÉ. Ce qui signifie que ce n'est pas 1 boîte qui contrôle tout, mais que plein de monde, des individus, des collectifs, des administrations, des entreprises, peuvent créer une instance Mastodon et se connecter au réseau.

Et l'usager lambda qui veut utiliser ce réseau doit choisir une instance et y ouvrir un compte.

Je vous mets ici un article que je trouve assez clair sur le sujet.

Et chaque instance va donc se charger de la modération. Je cite l'article ci-dessus :

Certains usagers regrettent que l’administrateur de chaque instance ait des pouvoirs aussi étendus. On l’a dit, le ou les administrateurs choisissent quels types de propos sont admissibles ou non sur leur instance. Ils peuvent décider quelles publications seront supprimées, et quels profils peuvent être suspendus ou bannis de leur instance. Ce n’est pas tout : les administrateurs peuvent décider quels comptes, créés sur d’autres instances que la leur, seront exclus de tout échange avec des comptes de leur propre instance. Cela peut aller jusqu’au bannissement d’instances entières : tous les membres d’une instance sont alors coupés de l’autre instance bannie, et donc de ses membres, sans en être informés et sans pouvoir le contester.

Une instance peut dont sanctionner un de ses utilisateurs. Mais une instance peut aussi bloquer l'accès à d'autres instances. Ou à des utilisateurs d'autres instances.

Et je vous avais raconté que j'avais subi certaines mésaventures à ce sujet.

2 des plus grosses instances Mastodon m'avaient bloqué. Leurs utilisateurs, même ceux qui me suivaient ou que je suivais, ne pouvaient ni interagir avec moi ni voir mes messages.

Pour plus de détails, je vous renvoie à ce billet que j'avais publié :

Et il faut insister sur un point : il n'y avait eu AUCUNE information sur ces blocages, ou plus exactement ces "suspensions". Je n'étais pas au courant. Et les utilisateurs des 2 grosses instances qui avaient fait ça non plus.

Et je ne suis pas le seul à avoir eu droit à ce genre de traitement.

Acermendax, de la chaîne "La Tronche en Biais", avait par exemple connu un sort similaire. Bon, lui, depuis, il a laissé tomber Mastodon et son compte est inactif depuis des mois.

Vous trouverez plus de détails dans ce billet :

Pourquoi est-ce que je reviens là-dessus ? Parce que je croyais que dans mon cas, c'était réglé.

Je pouvais de nouveau communiquer avec mes followers sur les instances en question.

Sauf que non.

Une de ces instances, Piaille, m'avait débloqué.

Mais pour l'autre, Mamot, gérée par La Quadrature du Net, c'est plus subtil. Je pouvais communiquer avec mes followers, voir leurs publications.

Honnêtement, je ne me souviens plus si les administrateurs de Mamot avaient communiqué à l'époque (il me semble que Piaille avait publié une réponse, quand certaines personnes les avaient interpellés).

Mais là, je découvre par hasard que les autres utilisateurs de l'instance Mamot (ceux qui ne figurent pas dans mes followers) ne peuvent pas me voir.

C'est le message d'1 utilisateur de Mamot, dans un échange où nous étions tous les 2 cités qui m'a mis la puce à l'oreille. Il ne voyait pas mes messages.

Et en vérifiant, effectivement, quand on cherche mon profil depuis Mamot, il est écrit : "Ce profil a été masqué par la modération de mamot fr"

Alors si qqn veut vraiment voir ce que je publie, c'est faisable. Mais il faut chercher. Et il faut donc déjà savoir que chercher. Là, on a un utilisateur qui ne voyait pas mes messages dans une discussion où nous étions tous les 2. Pratique pour échanger.

Alors il y a des gens qui disent que sur Mastodon, chacun est libre de choisir une instance et de changer, comme ça lui chante. Super. Mais changer c'est du boulot. Et on peut perdre pas mal de visibilité au passage. Et il faut déjà savoir.

Comment faites-vous pour choisir si vous n'êtes pas au courant ?

J'ai jeté un œil aux règles de modération affichées par La Quadrature Du Net pour son instance. Et je lis ceci concernant la transparence par rapport à la modération :

Communication vers le public En plus de cette charte, l'équipe de modération maintiendra dans le temps un document de référence reprenant des cas précis de modération positive (conservation du contenu) ou négative (supression / silence du contenu). Ces cas devront être proprement anonymisés et permettront à l'équipe de modération d'assurer la cohérence de ses réponses. La liste des instances de la fédiverse bloquées par mamot.fr sera contenue aussi dans ce document, avec la date du blocage et la raison de ce dernier. Ce document est public.

C'est bien, hein ?

Il ne me reste donc qu'à trouver le document public en question.

Et je pourrais consulter les cas précis de modération me concernant.

L'ennui c'est que je ne sais pas o�� se trouve ce document public.

J'ai trouvé la liste des instances bloquées par Mamot.

Mais je n'ai rien trouvé sur les utilisateurs d'autres instances qui sont bloqués.

J'ai posé 2-3 questions directement aux administrateurs, au travers d'un petit fil.

Et je vous tiendrai au courant.

PS : Attention à ne pas confondre le fonctionnement d'1 instance avec le fonctionnement de tout le réseau. MAIS, il faut comprendre que si 1 instance le fait, c'est que c'est possible. Et qu'on ne sait pas combien d'instances font des trucs du genre. Et il faut aussi comprendre que si 1 des plus grosses instances francophones le fait, alors ça peut avoir un gros impact sur les possibilités d'interactions des personnes touchées.

[huguesdelabarre]

Notation des allocataires : la CAF étend sa surveillance à l’analyse des revenus en temps réel

En ce moment dans le groupe Facebook Intelligence Artificielle que j'administre :

"Il y a tout juste deux mois, nous publiions le code source de l’algorithme de notation des allocataires de la CAF. Cette publication démontrait l’aspect dystopique d’un système de surveillance allouant des scores de suspicion à plus de 12 millions de personnes, sur la base desquels la CAF organise délibérément la discrimination et le sur-contrôle des plus précaires. Ce faisant, nous espérions que, face à la montée de la contestation, les dirigeant·es de la CAF accepteraient de mettre fin à ces pratiques iniques. Il n’en fut rien.", constatent les activistes de La Quadrature du Net. Lire la suite

[maybefrench]

As-tu un compte aux Impôts / CAF / Améli / Pôle Emploi / Ursaff ? Ceci est pour toi :)

So, La Quadrature du Net a réussi à mettre la main sur 2 versions de l'algorithme de la CAF et c'est effarant. Et oui, ça te concerne quand même tu n'y es pas. Parce qu'ils utilisent tous des altos. Lit la suite vite fait ( ou passe direct à : Lutter contre les algos de contrôle )

La version longue mais très intéressante :

Notation des allocataires : l'indécence des pratiques de la CAF désormais indéniable

Mon résumé perso :

En gros, la CAF ne cherche pas à prévenir la fraude, elle cherche les indus. Pour ça, elle te score selon que t'es supposé être un profil de fraudeur ou pas. T'es AAH ? T'as le gros lot. T'es une mère célibataire ? T'as aussi un score élevé. T'es un couple qui gagne bien sa vie ? Même pas t'es inquiété.

So, selon ton score, l'algo décide de check ton dossier ou pas. Il flag ton dossier, un petit monsieur/madame regarde ton dossier en partant du principe que si l'algol t'a flag, c'est qu'il y a bien une raison non ? Et ils vont chercher la merde.

Là dessus. Ils vont cross tes données avec les impôts, l'assurance maladie, même tes comptes bancaires ( illégal ça non ? bah comme de te filer un score parce que t'habites le quartier pérave de ta ville et pourtant ! )

BREF !

La CAF déconne grave. Et comme son algo "il fonctionne", Pôle Emploi s'est dit qu'il allait aussi le test depuis le début de l'année. Et comme ça marche bien, l'assurance maladie s'y est mis aussi. On rappel que l'assurance maladie a genre des tas d'infos sur toi que tu voudrais pas que le type de la CAF ou de Pôle Emploi puisse voir ?

ET DONC ?

Si tu veux lire la version courte et te dire qu'on a bien dépassé le stade de la dystopie ordinaire, c'est ici ( CAF, Assurance Maladie, URSAFF, Pôle Emploi, Assurance Vieillesse, Impôts, etc... ) :

Lutter contre les algos de contrôle

LA VACHE ! ET MAINTENANT ?

Tu as envie de ne pas trop te laisser ? Ca te branche un peu d'emmerder légalement les institutions ? Tu aimerais connaître le score de ton trimestriel salto ? Good ! La Quadrature te fourni les outils : 2 gabarits pour envoyer aux institutions afin d'avoir ces infos. Et si tu te sens d'aider, forward tes infos à la Quadrature pour qu'ils puissent saisir l'étendu des données ( okak'on aurait pas tous les même critères de sélection ) Vazy c'est par ici :

Demande ton score ( mais t'as pas de médaille à la fin )

[zehub]

Usbek & Rica - Régulation d’Internet : « Elon Musk utilise son entreprise comme un jouet »

Attendu depuis des années, le Digital Services Act (DSA) entré en vigueur le 25 août entend obliger les grands services numériques à réguler les contenus dont ils sont le relais. Que peut-on attendre de ce texte législatif européen ? On a posé la question à Bastien Le Querrec, membre de la Quadrature du Net, association de défense et de promotion des droits et libertés sur Internet.

[nootropesetantidotes]

un site à suivre régulièrement : https://www.laquadrature.net

[bidule-s]

[...] Et un Davy Crockett A l'avant du frigo Et une tête d'indien Sur la tranche du vélo Chaud devant, chaud, chaud C'est le mambo La manie décalco Mets le feu aux rideaux

[mirrorontheworld]

Pour lutter contre les vols à l’étalage, plus de mille magasins utilisent un logiciel de vidéosurveillance algorithmique vendu par la start-up française Veesion. Problème : selon la Quadrature du net, l’usage de cette technologie est illégal.

[bauerntanz]

Rekordstrafe?

Ob #Amazon wirklich eine Rekordstrafzahlung wegen Verstößen gegen die #DSGVO trifft? via @netzpolitik

Der Online-Konzern Amazon soll DSGVO-Rekordstrafe zahlen. Es wäre das höchste Bußgeld in der Geschichte der Datenschutzgrundverordnung: Amazon soll wegen missbräuchlichem Online-Targeting fast 750 Millionen Euro Strafe zahlen. Doch ob es wirklich dazu kommt, ist offen.   Rekord-Bußgeld für Amazon – Gemeinfrei-ähnlich freigegeben durch unsplash.com Christian Wiediger Wegen Verstößen gegen die…