La baronía del valle de Cofrentes, también llamada del valle de Ayora, tiene sus orígenes en un primer señorío castellano (1244-1281) cuyo titular fue Manuel de Castilla, hijo de Fernando III el Santo. Éste pasó a formar parte del Reino de Valencia en 1281 en calidad de realengo, hasta que en 1296 volvería a ser un señorío laico, otorgándose a Bernardo Sarriá, consejero de Jaime I, y pasando posteriormente a miembros de la familia real aragonesa.

En 1399, el señor del valle Alfonso el Viejo de Aragón, conde de Denia, de Ribagorza, y marqués de Villena, se convirtió también en duque real de Gandía. A la muerte de éste, en 1412, los territorios de aquél valle acabarían por dividirse en dos señoríos diferentes. Al sur, la villa de Ayora, que seguiría vinculado a la familia real hasta 1431, y al norte el señorío del valle de Ayora (también denominado de Cofrentes).

El señorío del Valle de Cofrentes, pues, tuvo su primer señor independiente al de la villa de Ayora hacia 1414, cuando Alfonso el Joven de Aragón, lo cedió a su sobrina Leonor de Villena, hija de Pedro de Aragón, II marqués de Villena, casada con Antonio de Cardona.

El hijo de éstos, Pedro de Cardona, fue el titular del señorío, pero lo vendió primero a Guillermo de Vich (1443), y tras recomprarlo lo volvió a vender a Francisco Gilaberto de Centelles, futuro I conde de Oliva (1444). A la muerte de éste, el valle pasó a su segundo hijo Querubín Juan, separándose pues del resto del patrimonio del linaje, aunque a la muerte sin descendencia de Serafín de Centelles, II conde de Oliva, volverían a unificarse todos los señoríos de los condes de Oliva en la figura de Francisco Gilberto de Centelles, III conde de Oliva.

Durante la grave enfermedad mental de Pedro Centelles Cardona (1569), IV conde de Oliva, fue la madre de éste, María Folch Cardona, la encargada de administrar la baronía. Una vez fallecido Pedro, y tras numerosos pleitos de tenuta, el condado pasó a manos de Magdalena Centelles Cardona, su hermana, quién estaba casada con Carlos Borja Castro, V duque de Gandía.

Con el fallecimiento de Magdalena en 1596, precedida un año antes por la de su primogénito Francisco de Borja Velasco, VI duque de Gandía, la baronía se separaría temporalmente de la línea principal del ducado de Gandía, de tal modo que el segundo hijo de ésta, Pedro de Borja Centelles, sería el nuevo titular del valle de Cofrentes. No obstante, durante los últimos años de vida de Pedro, y seguramente a causa de una enfermedad mental, se pactó que la baronía sería administrada por su esposa Leonor de Oñaz de forma vitalicia.

La baronía volvería rápidamente a la línea principal de los duques de Gandía a la muerte de Leonor. En este sentido, Felipe III le entregaría la merced de la alta y baja jurisdicción del valle a Carlos Francisco de Borja, VII duque de Gandía, en 1621. Esta sería la unión definitiva con la casa de Gandía, de tal modo que siguiendo el mismo destino que aquella, pasaría a formar parte posteriormente del patrimonio de los duques de Benavente (1748) y los duques de Osuna (1841).

Finalmente, dentro del contexto de la eliminación del régimen señorial, la baronía se extinguió definitivamente, por sentencia judicial, el 20 de agosto de 1838.