Baldwin urodził się w 1161 roku jako syn poprzedniego króla Amalryka I Jerozolimskiego i Agnieszki z Courtenay, a jego dzieciństwo było dość szczęśliwe. Pewnego dnia, gdy bawił się z przyjaciółmi i brał udział w szarpaninie, jego nauczyciel Gotfryd, baron Ibelinu, zauważył, że chłopiec nie reagował na ból ramienia po tym, jak zostało ono skaleczone, i przeprowadził dokładniejsze badania, niestety diagnozując u dziecka trąd. Nie spowolniło to jednak Baldwina, który dokonał wielkich rzeczy. Najbardziej godnym uwagi było jego zwycięstwo w bitwie w wieku szesnastu lat. W tym samym wieku wybrał się także na wakacje ze swoją starszą siostrą Sybillą, wspomnienie, które pielęgnowałby przez wiele lat.

Wkrótce potem został mianowany królem Jerozolimy.