O prédio onde hoje funciona o Museu do Oratório é um dos mais significativos edifícios da Ouro Preto setecentista. Situado no centro da antiga Vila Rica, destaca-se por sua arquitetura simétrica e harmônica, bem nos padrões da época. O sobrado, em dois pavimentos, é considerado uma obra singular por ter funcionado como Casa do Noviciado do Carmo – função diferenciada da usual. Anexa ao sobrado está uma pequena construção térrea.

A construção do sobrado, da casa térrea e do cemitério é contemporânea à edificação da Igreja datada de meados do século XVIII. A decisão de se erguer uma casa que servisse para guardar móveis, objetos sacros e documentos da Irmandade do Carmo ocorreu em 4 de novembro de 1753.

Em 1756, as obras foram arrematadas por José Ferreira dos Santos pela quantia de 100 mil cruzados. Alguns desentendimentos com a Irmandade atrasaram o início das obras e retardaram os trabalhos que foram interrompidos inúmeras vezes. Em 14 de novembro de 1766, uma nova arrematação foi feita por João Álvares Viana.

Com o passar do tempo, a documentação da casa acabou se perdendo e hoje é quase inexistente. De acordo com Rodrigo Bretas, primeiro biógrafo de Antônio Francisco Lisboa – o Aleijadinho -, a antiga casa do Noviciado chegou a ser, provisoriamente, a residência do famoso escultor e arquiteto barroco enquanto o mesmo trabalhava nas obras da Igreja do Carmo. A partir daí, a edificação começou a ser tradicionalmente chamada de Casa do Aleijadinho. Para a instalação do Museu do Oratório, a antiga construção passou por uma grande restauração, com a inclusão de mobiliário técnico, modernos recursos tecnológicos e novo revestimento interno e externo.