MyCity (Ville de New York)
agent conversationnel RAG service public
En mars 2024, le chatbot officiel MyCity de la ville de New York conseillait aux entreprises des pratiques illegales, comme prelever une part des pourboires ou refuser les bons de logement Section 8 ; l'administration l'a maintenu en ligne comme pilote.
Objectif
Aider les entrepreneurs new-yorkais a naviguer dans les demarches et reglementations municipales via un assistant conversationnel officiel, pour desengorger les services.
Le déploiement
Annonce par le maire Eric Adams en octobre 2023, le chatbot du portail MyCity devait guider les entreprises dans les regles municipales. En mars 2024, une enquete de The Markup montre qu'il delivre des conseils contraires a la loi : il affirme qu'un bailleur peut refuser les bons de logement Section 8, qu'un employeur peut prelever une part des pourboires de ses salaries, ou qu'un restaurant peut se passer d'accepter les especes. A dix testeurs posant la meme question sur les bons de logement, le bot repond dix fois que le bailleur n'est pas oblige de les accepter, alors que la discrimination par la source de revenu est illegale a New York.
Résultats Preuve C
Enquete d'investigation de The Markup, avec tests reproduits et citations directes, reprise par THE CITY et d'autres titres etablis, citant nommement la ville de New York et son administration. Pas de decision de justice publiee.
Comment ça fonctionne
Approche-type inféréeLe détail interne n'est pas public. Voici une approche éprouvée qui mène au même résultat - à adapter à votre stack.
La stack en détail
- plateforme Microsoft Azure AI Plateforme d'IA de Microsoft qui heberge le LLM du chatbot MyCity, selon la communication de la ville de New York.
- llm LLM Azure (modele exact non publie) Modele de generation de texte fourni via Azure AI ; la ville n'a pas publie le modele precis ni le detail du dispositif de recuperation documentaire.
- outil Portail MyCity Portail officiel de services aux entreprises de la ville de New York, canal d'exposition du chatbot.
Post-mortem
CimetièreCe qui s'est passé sourcé
Le maire Eric Adams annonce le chatbot MyCity en octobre 2023 comme aide aux entreprises. Le 29 mars 2024, The Markup publie une enquete montrant qu'il donne des conseils illegaux : refus des bons Section 8, ponction sur les pourboires, expulsion sans procedure, absence de plafond de loyer. Le bot est aussi incoherent, repondant differemment selon les sessions. Le 2 avril, The Markup constate qu'il est toujours en ligne, l'administration l'ayant recadre en pilote avec avertissements plutot que retire.
Raison de l'échec sourcé
Un assistant conversationnel de service public delivrant des reponses reglementaires generees sans garantie de conformite juridique, sans citation de la regle applicable et sans supervision suffisante. Sur un domaine ou la mauvaise reponse expose l'usager a une pratique illegale, le systeme parlait avec assurance de choses fausses.
Coût sourcé
Cout reputationnel et juridique : un canal officiel orientant des entreprises vers des pratiques illegales expose la ville a des mises en cause. Pas de cout financier chiffre publie.
Signaux avant-coureurs inféré
Infere : ouvrir un canal officiel de conseil reglementaire sans tests systematiques sur les questions a fort enjeu juridique, sans citation de la source de droit, et sans mecanisme de refus quand la reponse n'est pas sure. L'incoherence entre sessions signalait deja que le systeme devinait plutot qu'il ne recuperait la regle.
Leçons avec recul inféré
Infere : sur un domaine ou une reponse fausse a des consequences legales, l'assistant doit citer la regle applicable, refuser quand il n'est pas sur, et etre teste contre une batterie de questions pieges validees par des juristes. Un chatbot de service public ne peut pas se contenter d'un ton assure ; il lui faut une chaine de conformite. Et quand un tel systeme derape, le maintenir en ligne comme pilote deplace le risque sur l'usager.
Infere : le pattern de l'assistant conversationnel de service public reste valide, a condition qu'il soit adosse a des sources de droit citees, borne aux questions qu'il maitrise, et capable de dire qu'il ne sait pas. L'echec condamne un deploiement generatif non borne sur un domaine juridique, pas l'idee d'aider les usagers a s'y retrouver.
Comment vos clients perçoivent ce type d'usage
Études sourcéesLes consommateurs n'acceptent pas les chatbots par defaut : 64% prefereraient que les entreprises n'utilisent pas d'IA dans leur service client (Gartner, 2024) et pres d'un utilisateur sur cinq du service client par IA n'en retire aucun benefice (Qualtrics, 2025). L'acceptation se construit sur trois conditions mesurees par Salesforce : savoir qu'on parle a une IA, pouvoir escalader vers un humain, comprendre la logique de l'agent.
Conditions d'acceptation
- Etre informe qu'on parle a une IA et non a un humain (pres de 75% le demandent, Salesforce 2024)
- Un chemin d'escalade clair vers un agent humain (45% plus enclins a utiliser l'agent IA, Salesforce 2024)
- Une logique de l'agent clairement expliquee (44% plus enclins, Salesforce 2024)
Lignes rouges
- Rendre l'humain injoignable : c'est la premiere inquietude des consommateurs sur l'IA dans le service client (Gartner 2024) et 50% craignent que l'IA les coupe du contact humain (Qualtrics 2025)
- Remplacer le service client par l'IA sans alternative : 53% envisageraient de partir chez un concurrent (Gartner 2024)
Sources : Salesforce 2024 · Gartner 2024 · Qualtrics 2025
Voir l'acceptation complète : par pays, par usage, par génération
Comment répliquer
Inférence - non sourcéPrérequis data
- corpus reglementaire a jour et structure
- batterie de questions pieges validees par des juristes
Prérequis orga
- validation juridique du perimetre
- supervision humaine et boucle de signalement
Stack possible
- RAG borne aux textes officiels avec citation obligatoire
- refus de reponse hors perimetre
- revue juridique periodique
Première étape : Restreindre le bot aux questions dont la reponse est adossee a un texte cite, et lui imposer de refuser plutot que de deviner ; faire valider la batterie de tests par des juristes avant ouverture.
Le même piège, ailleurs
Chegg
assistant IA verticalisé construit en wrapper sur un LLM tiers
Meta
chatbots IA a l'effigie de celebrites
Sources
- S1 NYC's AI Chatbot Tells Businesses to Break the Law Presse établie archive à générer
- S2 Malfunctioning NYC AI Chatbot Still Active Despite Widespread Evidence It's Encouraging Illegal Behavior Presse établie archive à générer
Une erreur, une info plus récente, une source ?
Cette fiche vit de sa justesse. Si un chiffre a bougé, si le déploiement a changé, ou si vous avez une source de meilleure qualité, dites-le nous. Toute correction sourcée est vérifiée avant publication.