Hi Mareike.
Hab zwar keine allgemeine Regel parat, aber bei deinem Beispielsatz würd ich intuitiv "Setz dich doch zu mir!" sagen. Ich frage ja nach dem "Wem" und nicht nach dem "Wen" --> "Zu wem setzt du dich?"
Das ist meines Wissens nach der Dativ.
Vielleicht kann dir ja jemand anderes eine ausführlichere Antwort geben ;-)
MfG Kasi