Šiame pastate XIX a. gyveno kunigaikščio Bogdano Oginskio muzikos mokyklos ir orkestro muzikantai. Atvykę į Rietavą čia taip pat apsistodavo kunigaikščio Mykolo Oginskio Plungės orkestro muzikantai. Tarp jų ir Mikalojus Konstantinas Čiurlionis, kuris Plungės muzikantinėje mokėsi 1889-1892 m.