Bist du sicher? Wenn man den Satz wie folgt umstellt, wird nämlich m. E. ein Doppelpunkt benötigt:
Alles, was er erwiderte, war: "Touché".
Das spräche doch dafür, beim Originalsatz ein Komma zu setzen, oder nicht?