Rule reminder
Andarsene naturally combines with time expressions: se ne è andato alle tre (at three), presto (early), tardi (late), subito (immediately), già (already), ancora (yet/still), sempre (always), mai (never). Non me ne vado mai = I never leave.
Come si dice 'He left at midnight'?