> Irritiert von seinem Verhalten(,) wusste ich nicht ...
> Ich würde das Komma hier setzen. Aber MUSS ich?
Nein, wenn du den ersten Teil vor der fraglichen Stelle nicht als „Zusatz“ kennzeichnen willst.
https://www.korrekturen.de/regelwerk/zeichensetzung2-1f.shtml