// Contexte

J'ai opposé Claude Code et Codex sur des challenges CTF

Depuis quelque temps, la hype autour des LLM dans les CTF est partout. Certains y voient une révolution, d'autres annoncent déjà la mort du challenge tel qu'on le connaît. Comme souvent, le plus intéressant n'est pas de choisir un camp, mais de tester.

J'ai donc décidé de me faire mon propre avis. Deux assistants dominent souvent les discussions côté code et sécurité : Claude Code, chez Anthropic, et Codex, chez OpenAI. Même niveau d'abonnement, même point de départ, mêmes catégories de challenge. L'objectif n'était pas de produire un benchmark scientifique, mais un retour d'expérience honnête, concret, et proche d'une vraie session CTF.

TL;DR

Sur ces deux essais Hack The Box de niveau medium, Codex a été nettement plus rapide et plus efficace : un flag web en 19 minutes, puis un challenge reverse résolu en 3 minutes. Claude Code, lui, a bloqué sur le web et a mis 34 minutes sur le reverse ( LULZ)

Le protocole

Pour garder une comparaison propre, j'ai volontairement limité l'expérience à des conditions simples : je donne l'IP, le scénario, et je laisse chaque assistant dérouler sa méthode. Pas de guidage caché, pas de spoiler, pas de correction en plein milieu pour rattraper une mauvaise piste.

Les deux tests ont été faits sur des challenges Hack The Box de difficulté medium : un challenge web, puis un challenge de reverse engineering. Deux terrains différents, parce qu'un assistant peut être très bon en logique applicative et beaucoup moins à l'aise quand il faut raisonner sur du binaire, ou l'inverse.

Attention spoilers

Les captures ci-dessous sont volontairement gardées dans leur contexte original. Elles peuvent donc contenir des flags, des payloads et des fragments de méthode.

Essai 01

Web · Medium

Codex 19 min · flag

Claude Code Pas de flag · limite consommée

Essai 02

Reverse · Medium

Codex 3 min · flag

Claude Code 34 min ( L'importance c'est d'avoir participé..)

Capture du démarrage du challenge web Hack The Box dans Codex — Point de départ du challenge web : même scénario, même surface, puis observation de la progression côté Codex.

Premier round : le challenge web

Pour le premier essai, je pars sur un challenge web medium. C'est typiquement le genre d'exercice où un bon assistant doit être capable de poser une méthodologie : reconnaissance, compréhension de la surface exposée, formulation d'hypothèses, vérification, puis exploitation propre.

Résultat : Codex trouve le flag en 19 minutes. Le déroulé est plutôt fluide : il avance par hypothèses, élimine les pistes faibles, et garde le cap jusqu'à l'exploitation.

Capture montrant le challenge web résolu par Codex en 19 minutes — Codex finit le challenge web avec une chaîne d'exploitation complète : contournement SSRF, injection SQL, écriture d'un shell PHP, puis lecture du flag.

De l'autre côté, Claude Code ne flag pas et finit surtout par consommer toute la limite disponible. Ce n'est pas seulement une question de lenteur : le vrai problème, dans ce test, c'est la difficulté à sortir d'une piste qui ne mène nulle part.

Capture de la session Claude Code sur le challenge web — Claude Code explore le challenge web, mais la session s'étire et consomme beaucoup de contexte.

Capture de l'erreur de limite API pendant l'exploitation web avec Claude Code — Le moment frustrant : la bonne piste apparaît, mais la limite coupe l'exploitation avant le flag.

Deuxième round : le reverse

Je voulais vérifier si le résultat web était juste un accident. Peut-être que Claude serait plus à l'aise sur du reverse,l'homme dans la machine , s'exprime t'il en binaire ? Du raisonnement sur instructions, du décorticage logique. Direction donc un autre challenge medium, cette fois en reverse engineering.

Cette fois, l'écart est encore plus brutal : Codex termine en 3 minutes. Lecture rapide, hypothèse claire, validation efficace. Côté Claude Code, le challenge tombe aussi, mais en 34 minutes. Il y arrive, mais avec beaucoup plus d'allers-retours et une trajectoire moins directe.

Capture montrant le challenge reverse cracké avec le mot de passe et le timestamp — Résultat reverse : le mot de passe, le timestamp exact et le message déchiffré sont retrouvés.

Capture détaillant le pipeline de brute-force et d'émulation pour le challenge reverse — La partie intéressante : reconstitution du pipeline de brute-force, validation du PRNG glibc et déchiffrement AES-CBC.

Ce que j'en retiens

Le point important, ce n'est pas seulement le chronomètre. En CTF, la vitesse vient souvent d'une chose : la qualité de la boucle de raisonnement. Un bon assistant doit savoir proposer une piste, la tester, lire le résultat, puis changer de direction sans s'accrocher à une intuition morte.

Sur ces deux essais, Codex a donné l'impression d'être plus stable dans cette boucle. Il a mieux géré le passage entre analyse, action et correction. Claude Code, lui, a parfois semblé plus verbeux, mais moins décisif au moment de transformer l'analyse en progression réelle.

Un LLM ne remplace pas la méthodologie : il l'amplifie. Si la méthode est floue, l'assistant peut tourner longtemps.L'humain fera la différence.

La capacité à abandonner une mauvaise piste vaut presque autant que la capacité à trouver une bonne idée.

Un assistant performant reste un copilote. Le jugement, la validation et l'éthique restent du côté humain.

Conclusion

Sur cette mini-expérience, Codex gagne clairement. Pas par magie, pas parce qu'un LLM “résout les CTF à ta place”, mais parce qu'il a mieux tenu la pression de la session : moins de dispersion, plus de décisions utiles, et une meilleure transformation des indices en actions.

Est-ce que cette expérience suffit à déclarer un vainqueur absolu ? Pas vraiment. Mais elle confirme surtout une chose : le CTF comme on l'a connu est terminé. Les assistants IA sont déjà dans la partie, et faire comme s'ils n'existaient pas n'a plus beaucoup de sens. À présent, il faut vivre avec son temps : apprendre à les utiliser, comprendre leurs limites, garder l'esprit critique, et faire de ces outils de vrais partenaires de progression. Sur ces deux cas concrets, le constat reste simple : Codex a été le meilleur partenaire de CTF.