Δεν υπάρχει client που τρέχει συνέχεια μέχρι να συνδεθεί στον server. Προφανώς τα έχεις μπερδέψει.
Επίσης με αυτό που κάνεις επιτρέπεις στον άλλον "server" να εκτελεί στον υπολογιστή σου εντολές. Εκτός αν θέλεις να δώσεις σε κάποιον πρόσβαση αλλιώς δεν έχει νόημα.
Το όλο πρόγραμμα πρέπει να τρέχει σε ξεχωριστό thread και εκεί που έχεις
except ConnectionRefusedError:
continue
κάντο να κοιμάται 1 δευτερόλεπτο να μπορείς αν χρειαστείς να το σπάσεις
δηλαδή
except ConnectionRefusedError:
time.sleep(1)
continue