Secondo Paolo M. Galimberti (Il feudo di Riozzo e l’oratorio di San Rocco, sta in M. Bascapè, Il tesoro dei poveri, Silvana, 2001) “l’edificio deve probabilmente essere identificato con quello prospicente l’oratorio di San Rocco, purtroppo attualmente demolito, ma i cui resti conservano qualche traccia di distinzione. L’ampio impego del legname per gli edific più antichi e gli infiniti interventi edilizi succedutisi nei secoli, come attestano le varie mappe catastali, peraltro, avevano probabilmente già reso irriconoscibile la struttura in antico; tra le altre cose il fossato fu trasformato in peschiera e infine chiuso. Il castello venne affittato al Mercante Gicomo Cagnola di Riozzo, con cui Scaramuzza fu in rapporti di affari negli anni Quaranta del XV secolo.”
