A korábban lakóházként szolgáló épületben 1969-ben nyílt meg Ybl Ervin művészettörténész hagyatékából az állandó kiállítás. A hagyaték egyrészt a család 18–19. századi bútoraiból, családi képeiből és dísztárgyaiból áll, másrészt Ybl Ervin képző- és iparművészeti magángyűjteményéből.