„1577 wurde Irmisch als Nachfolger des Grafen Lynar zum Kurfürstlichen Festungsbaumeister ernannt, leitete ab1579 die Umbauten der Dresdner Münze und am Wilschner Tor sowie den Bau des Stallhofes (1586-1591) und die Anlage des kleinen Schlosshofes der Residenz mit zweigeschossigem Torhaus und Laubengang.“
Năm 1577, Irmisch được bổ nhiệm làm kỹ sư pháo đài của Tuyển hầu để kế nhiệm Bá tước Lynar; từ năm 1579 ông chỉ đạo việc cải tạo xưởng đúc tiền ở Dresden và tại cổng Wilschner, cũng như việc xây dựng Stallhof (1586–1591) và quy hoạch sân nhỏ của cung điện cư trú với nhà cổng hai tầng và hành lang có mái vòm.