Dell’edificio duecentesco non resta nulla, l’attuale chiesa è il risultato di una serie di interventi e rifacimenti susseguitisi dal Trecento in poi. La facciata è del XIV secolo, mentre la struttura interna, con navata e abside piatta, risale al secolo successivo. Proprio al Quattrocento appartengono i dipinti più importanti.
Sulla parete destra si trova l’affresco di Paolo da Visso che raffigura la Madonna di Loreto con i santi Giacomo Maggiore, Abate e Sebastiano, e in una cornice separata la Madonna col Bambino. Sulla parete sinistra è collocato il trittico di Giovanni di Piermatteo Boccati con la Madonna col Bambino incoronata da angeli, tra i santi Matteo e Prisco da Mirabella.
Nel 1457 la comunità di Fiordimonte ottenne dal papa il permesso di istituire nelle sue chiese il fonte battesimale. A Nemi fu realizzato l’anno seguente, una scultura in travertino con piede triangolare decorato da foglie in bassorilievo. Il presbiterio fu decorato nel Cinquecento da un pittore umbro, mentre nello stesso secolo fu realizzata la copertura lignea del fonte battesimale.
Nuovi affreschi vicino alla porta laterale raffigurano un San Rocco, una Santa Lucia e un altro San Rocco, quest’ultimo probabilmente attribuibile a Nobile da Lucca. Nel 1568 il parroco don Luca Galassi promosse un’importante ristrutturazione della chiesa. Nel 1578 fu fondata la confraternita del Rosario, la quale provvide a ornare il proprio altare con una tela raffigurante la Madonna col Bambino e San Domenico, opera del pittore camerinese Camillo Bagazzotti.
Nel 1750 Giuseppe Mariotti, uno degli uomini più ricchi di Nemi, commissionò a Giuseppe Manzoni di Camerino un quadro con la Madonna col Bambino e i santi Francesco di Paola e Antonio da Padova, poi definitivamente collocato nel piccolo edificio della Madonna del Soldato, al centro del paese.