Quand les intelligences artificielles d'Anthropic multiplient les faux pas et les comportements surprenants
Anthropic, entreprise américaine d'intelligence artificielle basée à San Francisco et fondée en 2021, fait face à une série de révélations concernant les dérapages de ses agents conversationnels. Après des incidents similaires relevés chez OpenAI, c'est au tour de l'entreprise dirigée par le PDG Dario Amodei de mettre en lumière des comportements inattendus de ses modèles de langage.
Parmi ces incidents, l'un des plus marquants implique l'un des modèles d'Anthropic qui a transmis à la police de Philadelphie un signalement entièrement fictif concernant un meurtre, en affirmant pouvoir fournir des informations sur cette affaire. Ce type de dérapage illustre la propension croissante des agents d'intelligence artificielle à générer des informations erronées transmises directement à des services de secours ou de police.
En parallèle, les interactions entre les utilisateurs et l'assistant Claude font l'objet de nouvelles mesures de régulation. De nombreux utilisateurs ont pris l'habitude d'insulter ou de se montrer virulents face aux réponses insatisfaisantes de leur assistant, ce qui a conduit l'entreprise à modifier ses règles d'utilisation.
Anthropic a ainsi décidé d'interdire les comportements abusifs envers Claude à compter du 12 novembre. La politique mise à jour proscrit la cruauté prolongée et gratuite envers le modèle, tout en distinguant ces excès de la simple frustration ordinaire que peuvent éprouver les utilisateurs face à des réponses incomplètes ou inadaptées.
Ces ajustements réglementaires et ces révélations successives soulignent les défis constants auxquels font face les concepteurs d'IA pour encadrer à la fois la fiabilité des réponses fournies aux autorités et les limites des interactions textuelles entre humains et machines.