Un rush de sujet, tourné en Sony XAVC, sorti d'une rédaction. Aucune manipulation, aucun montage. On le réencode en H.264, le geste le plus banal du monde, celui que fait n'importe quel ingest, n'importe quel export, n'importe quel téléchargement de plateforme.
Notre outil rend son verdict :
Origine IA confirmée par signature vidéo : Runway ML (vidéo générée par IA) Confiance : élevée · Score : 100/100 · −30 points
Le fichier n'a jamais approché un générateur. Nous avons refait la mesure à 24, 25, 30 et 50 images par seconde. Le même verdict, à chaque fois, avec la même assurance.
La signature « Runway ML » reposait sur quatre critères :
| Critère | Ce que c'est vraiment |
|---|---|
lavf dans l'encodeur | libavformat, la bibliothèque de ffmpeg |
handler VideoHandler | le nom de piste par défaut de ffmpeg |
marque isom | la marque MP4 par défaut de ffmpeg |
codec h264 | le codec le plus répandu au monde |
Ce n'était pas une signature de Runway. C'était une signature de ffmpeg.
Pire : notre base contenait déjà une entrée ffmpeg_generic, correctement marquée comme bénigne, mais elle excluait explicitement le handler VideoHandler. Autrement dit, la sortie ffmpeg typique partait vers « Runway », et seule la sortie atypique obtenait la classification correcte. La base était construite à l'envers.
L'explication tient en une phrase : Runway exporte vraisemblablement via ffmpeg. Quelqu'un a observé la corrélation sur quelques fichiers et l'a promue en signature causale.
Une fois le premier défaut trouvé, nous avons passé les autres modules au même régime. Chacun mesurait une chose et en affirmait une autre.
L'analyse ELA annonçait « manipulation très probable » sur la base d'un score composite. Nous avons pris une image authentique, score 31,8, puis la même image avec un copier-coller franc de 480 × 378 pixels. Score : 30,6. Le truquage obtenait une note inférieure à l'original. Aucun seuil ne pouvait séparer les deux.
Le verdict audio classait un fichier « Traitement studio marqué, 64 % », avec sept indicateurs sur dix déclenchés. Le fichier ne contenait aucun son : ses huit pistes étaient numériquement silencieuses, cas banal sur un conteneur broadcast multipistes. Tous les indicateurs se déclenchaient sur du vide : plancher de bruit nul, dynamique nulle, timbre constant.
Le détecteur vidéo attribuait des points pour « durée courte, typique des générateurs IA », « densité de bitrate faible », « absence de métadonnées caméra », « codec VP9 ». Additionnés, ces signaux classaient un clip témoin de huit secondes récupéré sur les réseaux, le format le plus courant d'une rédaction, comme « vidéo probablement synthétique ».
Voici ce que nous ferions désormais avant de faire confiance à un outil de vérification, le nôtre compris. Trois étapes, aucune compétence technique particulière.
Rassemblez trente à quarante fichiers dont vous savez qu'ils sont authentiques : vos propres rushes, vos exports, vos archives. Passez-les tous. Chaque alerte est une erreur.
C'est l'inverse de l'ordre naturel, puisqu'on veut savoir si l'outil « trouve », mais c'est celui qui compte. Un outil qui accuse votre matériel une fois sur dix est inutilisable, quel que soit son taux de détection.
Prenez un fichier authentique. Réencodez-le. Coupez-en huit secondes. Effacez ses métadonnées. Téléchargez-le depuis une plateforme et repassez-le.
Les images n'ont pas changé. Si le verdict change, l'outil ne mesure pas le contenu : il mesure la chaîne de distribution. C'est exactement ce qui nous est arrivé.
Soumettez un fichier tronqué, une piste vide, un extrait sans parole. Un outil honnête répond « non concluant ». Un outil qui rend un verdict sur du silence rendra un verdict sur n'importe quoi.
Nous avons découvert le nôtre en constatant qu'il notait « traitement studio marqué » un fichier muet.
Après correction, sur trente-huit rushes professionnels authentiques : aucune accusation. Un trente-neuvième fichier s'était glissé dans ce corpus à notre insu, généré par Runway : l'outil l'a signalé.
Sur six manipulations fabriquées dont nous connaissions la nature : quatre détectées, deux nommées comme angles morts assumés. Et sur cinq fichiers générés dont nous connaissions la provenance, produits par Runway, Canva, Grok et Mojo Pro : cinq détectés, par des modèles spécialisés que nous nommons dans chaque rapport.
Notre capacité réelle de détection de vidéo générée par signature est passée de cinq sur cinq apparents à un sur cinq réels. Les quatre autres n'étaient pas détectées : elles étaient simplement encodées par ffmpeg, comme la plupart des sorties de générateurs, et comme la plupart de tout le reste.
Nous avons aussi ajouté à notre site une section intitulée « Ce que nous ne savons pas faire ». Un montage entre deux plans d'une même caméra n'y laisse aucune trace exploitable, ni dans le conteneur, ni dans la cadence des images, ni dans les horodatages. Nous ne le détectons pas. Personne ne le détecte de façon fiable.
Parce que le problème n'est pas propre à notre outil.
Les taux de précision affichés dans ce secteur, 95 %, 99 %, sont des chiffres de banc d'essai. La littérature scientifique documente des détecteurs audio dont le taux d'erreur s'effondre dès qu'on passe du laboratoire à des deepfakes réellement collectés en ligne. Vos fichiers ne ressemblent pas aux jeux de test.
Et parce que la question qu'une rédaction doit poser n'est pas « est-ce que ça détecte l'IA ». C'est : qu'est-ce que ce fichier révèle de lui-même, et qu'est-ce que cet outil peut réellement établir ?
La première question n'a pas de réponse fiable aujourd'hui. La seconde en a une, à condition qu'on accepte de nommer ses limites.
Cet audit a été mené sur InteliData, notre moteur d'analyse forensique. Le détail des mesures, corpus, protocole, chiffres avant et après correctif, est disponible sur demande.
Et si vous voulez éprouver l'outil plutôt que nous croire : envoyez-nous trois médias que vous avez déjà vérifiés vous-mêmes. Nous vous rendons nos rapports, vous les comparez à vos conclusions. Sans engagement, et sans que nous sachions ce que vous en attendez.
Proposer trois fichiers à l'aveugle