Sull’acropoli romana sorge la Cattedrale, dedicata ai fratelli martiri romani Giovanni e Paolo. Essa fu costruita nelle forme attuali tra il 1106 e 1113 durante l’episcopato di Agostino. La chiesa, in stile romanico, ha una semplice facciata a spioventi in conci di travertino con tre porte architravate .

L’interno è a tre navate, terminanti con absidi curvilinee. Le tre navate sono scandite da pilastri alternati a colonne di granito ( materiale di recupero di epoca romana ).La torre campanaria è posta dietro le absidi, staccata dalla chiesa. La pavimentazione musiva , ad opera della famiglia dei Cosmati, risale ai secoli XII-XIII. Di proporzioni monumentali e di raffinata fattura è l’elegante colonna tortile cosmatesca che funge da candelabro per il cero pasquale.

Di rilevante valore storico ed artistico è l’architettonico ciborio, opera del marmorario romano Drudus di Trivio (XIII sec.). All’interno della sacrestia si conservano pregevoli resti architettonici di un ciborio alto-medievale in stile longobardo e il monumento funerario del vescovo Fabrizio Borgia opera del Queirolo (sec. XVIII).
Nel Museo Diocesano, situato nell’episcopio, sono conservati pregevoli arredi sacri.