Nació en Viena . Fue hijo del emperador Leopoldo I y de Leonor del Palatinado. Archiduque de Austria desde su nacimiento, Rey de Hungría y de Bohemia desde 1687 y Rey de los Romanos desde 1690. Emperador del Sacro Imperio Romano Germánico desde 1705 hasta su muerte. En 1699, se casó con Guillermina de Hannover (1673-1742), hija del Duque de Brunswick, con la que tuvo dos hijas y un hijo: María Josefa, archiduquesa de Austria, casada con el elector Federico Augusto de Sajonia (rey Augusto III de Polonia); Leopoldo José, archiduque de Austria; y María Amelia, archiduquesa de Austria, casada con el elector Carlos Alberto de Baviera (Carlos VII Alberto).

Mantuvo la política en apoyo de las pretensiones sobre el trono de España de su hermano, el archiduque Carlos. En 1708 pudo sofocar una sublevación en Hungría encabezada por el duque Francisco II Rackoczi. Le sucedió su hermano Carlos.