> Ich habe mir vorgenommen, alle Bücher, die im Haus sind, zu > lesen.
> Sind die Kommas hier richtig gesetzt?
Ja.
> Könnte ich das Komma vor "alle" auch weglassen?
Ja, aber aus Gründen der Übersichtlichkeit sollte es gesetzt werden.
Grüße Julian