> Die Familie war kurz davor aufzugeben.
> oder
> Die Familie war kurz davor, aufzugeben.
> zweiteres erscheint mir sinnig, wirkt aber irgendwie merkwürdig.
Wodurch soll denn der Infinitiv hier erweitert sein?
Das Komma ist optional (wenn, wie deine Worte vermuten lassen, die Infinitivgruppe inkohärent ist!). Wenn man ausschließen möchte, dass die Infinitivphrase hier kohärent interpretiert wird, setzt man es.