Ob man es zusammenschreibt oder getrennt, hängt mit der Betonung von darunter bzw. darüber zusammen.
Ich zitiere aus:
http://www.canoo.net/spelling/darunter:Adv
Zusammenschreibung in Verbindung mit einem einfachen Verb, wenn darunter oder drunter stärker betont ist als das Verb. Dabei muss darunter auf dem u betont sein (...)
Wenn die Hauptbetonung auf der ersten Silbe von darunter liegt, wird getrennt geschrieben (...)
In deinem Fall sieht die Betonung (fett markiert) wie folgt aus:
die darüber- bzw. darunterliegenden Zahlen
Hauptbetonung liegt hier auf der zweiten Silbe von darüber bzw. darunter; ergo: Zusammenschreibung