Nació en Uclés en 1720. Fueron sus padres Diego de Torres Escobar (1691-?), regidor y procurador síndico general de Uclés, y María Teresa de Moya Gutiérrez (1693-?), natural de Almarcha (Cuenca), y sus hermanos Tomás, Juan, Josefa -mujer de Francisco Chacón y Rodríguez de la Encina-, Ignacia, Narcisa, Gabriela, David y José de Torres Moya.

En septiembre de 1749 contrajo matrimonio con Bernarda Baracaldo Martínez (Fuente de Pedro Naharro, 1719-1769), con quien tuvo tres hijos: Juan Antonio, Teresa y Teodora de Torres Baracaldo. Tres años más tarde, en noviembre de 1752 obtuvo certificado de ser hijosdalgos todos los miembros de su familia, de haber ejercidos oficios de alcaldes, síndicos y procuradores, de estar exentos de pechos y tributos, así como de otras prerrogativas.

Abuelos paternos: Sebastián de Torres (Uclés, 1672 - ?), regidor, procurador síndico general y alcalde de hermandad, y Brígida de Escobar (Madrid, 1672 - Uclés, 1694).

Abuelos maternos: Francisco Antonio de Moya (Almarcha, 1666 - ?), alguacil mayor, alcalde y regidor, y María Manuela de Moya (Almarcha, 1667 - ?).

Bisabuelos paternos paternos: Diego de Torres Chacón, familiar del Santo Oficio, regidor de Uclés y alcalde de la fortaleza, y Teodora de Aguirre.

Bisabuelos paternos maternos: Nicolás Alfonso de Escobar Cisneros y Moscoso, alcalde de hermandad, procurador síndico general y regidor de Ocaña, y Francisca Antonia de Carrión Ayala.

Bisabuelos maternos paternos: Antonio de Moya, alcalde de Almarcha, y Melchora Garay.

Bisabuelos maternos paternos: Víctor de Moya e Isabel Gutiérrez de San Martín.