După moartea tatălui său, regele Maxmilian al II-lea, în 1864 îi vor fi asumate prea devreme lui Ludovic sarcini responsabile. Va avea puţin timp liber la palatul Hohenschwangau.
Încă de la început a sprijinit activitățile culturale; pe Richard Wagner l-a cunoscut personal deja în mai 1864, și l-a sprijinit cu toată puterea în activitățile sale până la sfârșitul lui 1865, când, din cauza cheltuielilor mari, a fost silit de către guvern, familie și cetățeni să-l expulzeze din Bavaria. Prietenia lor a continuat totuși câtăva vreme. Între 1865 și 1870 au avut loc la Teatrul Național din München premierele operelor wagneriene Tristan und Isolde, Maeștrii cântăreți din Nürnberg, Aurul Rinului și Walkiria.De prin 1872 Ludovic al II-lea a început chiar să ceară să i se prezinte operele lui Wagner singur, fără alt public în afară de el.
Regele s-a retras în lumea poeziei, a muzicii şi a teatrului , astfel ignorând afacerile guvernare. În timpul războiului din 1866 Ludovic se aflase pe insula „Roseninsel” din lacul „Starnberg”, evadând de responsabilităţi în singurătatea munţilor.
Ca adolescent Ludovic a devenit prieten bun cu Prințul Paul Maximilian Lamoral de Thurn și Taxis. Cei doi tineri călăreau împreună, citeau poezie, și puneau în scenă opere de Richard Wagner. Prietenia lor s-a răcit când Paul s-a logodit. În adolescență, Ludovic a început o relație apropiată cu verișoara sa, Ducesa Elisabeta a Bavariei, care mai târziu va deveni împărăteasă a Austriei. Amândoi iubeau natura și poezia; Elisabeta îi spunea lui Ludovic „Vultur” iar el îi spunea „Porumbiță”. Ludovic dorea să se căsătorească cu Sophie sora mai mică a împărătesei. În această perioadă a preluat prinţul rolul beneficiarului, studia opere istorice şi orientările stilurilor, mai exact epoca absolutismului francez. Astfel el a dezvoltat conceptul unui al doilea Versaille: castelului Linderhof şi al castelului Herrenchiemsee.
