Das Schloss Mühlgrub ist ein vierflügeliger, zweigeschossiger Bau mit einem schmalen und langen Innenhof. Einst standen an allen vier Ecken, sowie an der Mitte der Süd- und Nordfassade Flankierungstürme.
Von den angeblichen dreizehn Türmen sind nur noch zwei davon erhalten. Der letzte Flankierungturm befindet sich am linken Eck der Vorderfront. Sein Gegenstück, auf der rechten Seite, wurde im Zweiten Weltkrieg durch einen Bombentreffer schwer beschädigt und nicht mehr rekonstruiert.
Die Mitte des hinteren Quertraktes wird von einem viereckigen Turm überragt, dessen Spitze in einen Knauf mit aufgesetzter Wetterfahne endet. Der Eingang in das Schloss erfolgt durch ein verziertes Quaderportal.