La sua struttura, originariamente circondata da un largo e profondo fossato alimentato dalle acque del Chienti, è quadrangolare, con torri in tutti gli angoli. Al suo interno si apre una corte con un loggiato, con pilastri ottagonali e con archi a sesto acuto in pietra bianca e rossa. Sia alcuni ambienti del piano terra, sia le principali sale del piano superiore erano dipinte. Nelle stanze a pianterreno, poste accanto a una grande scuderia voltata con archi a sesto ribassato) prevalgono delle raffigurazioni di vita rurale (pastori con armenti, donne che raccolgono pomi), da collegare all’originaria funzione dell’edificio come residenza estiva e come centro di attività agricole. Nella sala più grande del castello sono visibili, invece, i resti di un vasto ciclo di dipinti raffigurante dei cavalieri, che in origine occupava le quattro pareti del salone e che rimanda alla cultura dei poemi cavallereschi. La decorazione risale sicuramente al XV secolo. Così viene descritto il ciclo da Paolo Cruciani: «Si tratta di una parata di cavalieri armati, coronati e con lo scettro in mano che montano destrieri dai lussuosi finimenti. La cavalcata correva in due ordini sovrapposti, per un totale di 60 personaggi, ossia 11 su ogni ordine nei lati lunghi e 4 su ogni ordine nei lati corti».
Al di sotto di ogni cavaliere, tra cui Roberto il Guiscardo, suo figlio Ruggero, re di Napoli e Tancredi d’Altavilla, erano presenti dei cartigli con in endecasillabi:
“Re Ruberto Viscardo fei reccolta
Del bel napolitan regno diviso
E tucto a la mea corona el fei
dar volta
Rogero re de Napoli conquiso
Re Roberto mio padre da [ri]a
morte
Che de far maior cose havea
l’aviso”
Decorazioni simili sono presenti anche in altri castelli e palazzi dei da Varano, come quello di Esanatoglia. Sempre nel piano nobile, in una stanza adiacente, si trova la rappresentazione di un albero di pere di dimensioni monumentali, con ampie fronde cariche di frutti maturi. All’iniziale ipotesi di attribuzione di questa decorazione ad una possibile infatuazione di Giulio Cesare da Varano per una certa Madonna Perozzi (nel cui stemma familiare erano presenti delle pere), prevale ora l’idea che si tratti di una raffigurazione simbolica dell’albero della vita. Nella parete accanto è presente una seconda decorazione consistente in grandi cerchi o “medaglioni” formati dall’unione di rami intrecciati. La decorazione è completata da piccole pere, che pendono dai cerchi, i quali contengono il monogramma di Giulio Cesare e la rosa malatestiana di Giovanna Malatesta. Nelle stanze vicine, i restauri eseguiti nel 2002 hanno consentito di scoprire nuove pitture: una serie di stemmi araldici e un altro ciclo di cavalieri, disposti su un solo ordine, raffigurante esponenti della nobile famiglia milanese dei Visconti. Si riconoscono Ottone (1207-1295), Galeazzo e forse Galeazzo I (1277-1334). Un’attenta e particolareggiata descrizione di questo ciclo si deve a Francesca Arcangeli: «È probabile che in questa sala fosse rappresentato un secondo ciclo di sovrani, o di signori e capitani di ventura, come erano i da Varano. In entrambi i casi, le immagini dovevano esaltare le imprese di questi uomini e soldati, portatori di nobili valori, insieme alle riconosciute virtù della casata camerinese. A differenza del precedente salone, i cavalieri indossano delle armature e dei copricapi privi di una connotazione regale […]. Come ipotizzato per le decorazioni di Esanatoglia e per quelle della sala dei sovrani di Beldiletto, anche in questo caso le figure sono probabilmente riprese da appositi repertori di immagini, per essere più o meno aggiornate e adattate».
Si può avanzare l’ipotesi che queste ultime decorazioni siano state realizzate nel primo decennio del Cinquecento, quando nel castello vengono ospitati il cardinale Alessandro Farnese e il pontefice Giulio II. Il lento degrado del castello inizia già nel corso del XVI secolo dopo l’annessione del ducato di Camerino allo Stato della Chiesa, quando l’intero complesso si trasforma in una semplice tenuta agricola.