Ludovic s-a născut la Palatul Nymphenburg și a fost fiul cel mare al Prințului Moștenitor Maximilian și al Prințesei Moștenitoare Maria a Prusiei. Părinții lui au vrut să-i dea numele de Otto însă bunicul său, Ludovic I al Bavariei, a insistat ca nepotul său să aibă același nume ca și el deoarece aveau aceeași zi de naștere. Fratele lui mai mic, care s-a născut după trei ani, a fost numit Otto.

            În 1848, bunicul său, regele Ludwig I al Bavariei, a abdicat, tatăl său devenind noul rege al Bavariei, iar el, prinț moștenitor. La fel ca mulți tineri moștenitori europeni Ludovic a fost crescut în spiritul disciplinei și onoarei și a primit o educație severă, pentru a fi pregătit în vederea responsabilităților care îl așteptau.

            Prinţul şi-a petrecut copilăria la palatul Nymphenburg,  însă majoritatea timpului şi-a petrecut la reşedinţa de vară a familiei, palatul Hohenschwangau  lângă Füssen. În timpul lui liber îi plăcea să citească, să se plimbe şi să pescuiască la lacul Alpsee. Nu departe de castel se află o cabană unde avea obiceiul să se retragă pentru a savura frumuseţea împrejurimii.