相传东汉章帝年间北匈奴进犯南匈奴及汉朝领地时，吕布祖父吕浩（时任宪部越骑校尉）奉命留守边塞。吕浩携妻儿率部驻扎五原郡地，定址北河（黄河旧道现乌加河）南岸五原县塔尔湖五分桥东，大兴土木，建城筑堡（今城圪卜就是由此而得名），开荒农耕，并逐步发展畜牧业，纺织业，冶炼治陶业等，固守边关。

　　吕布祖父去世后，其父吕良继任，娶妻黄氏，系五原郡补红湾（今五原县城西补红村）人，是一大户富豪财主之女。黄氏聪明贤惠，知书达礼，善染织（后成为染织作坊主事）。黄氏生有四女，苦于无子。一日，随夫到白马寺庙（今五原县锦旗东五里处，由于黄河淘堤已毁于河底）拜佛求子。

　　归来当晚，黄氏得一梦，梦见有一猛虎扑身而来，黄氏见状急唤丈夫赶打，老虎却温顺地卧于身旁。不日黄氏身感有孕，怀孕12个月未见生产，百感焦虑。

　　后来，黄氏移至染织作坊，突然屋外人声大嘈。众人纷纷出外观之，但见西北上空彩虹映现，光彩夺目，关于吕布的民间传说此景奇异。随之五原山地崩裂，地动山摇。黄氏欲生，身感不适，腹中疼痛难忍，盆骨闷胀，羊水外溢，寸步难行，随卧于布匹之上，不久产生一男婴。

　　男婴出世更为奇事，但见脐带自断，双目有神，两拳紧握，站立面前，黄氏惊奇，急擦去污物抱于怀中。后说与丈夫，吕良心中大快：“吾儿神也。”因出生布上，故起名吕布。

　　吕布从小随母习文作画，聪慧好学，一点就通，过目不忘，他生性好斗，力大过人，喜舞枪弄棒，身高体重超出常人，同龄孩童都不敢和他玩耍，视而远之，唯有同女孩在一起温顺体贴，判若两人。

　　吕布却总喜欢和大人们在一起，问这问那模仿学习。从五岁起常随牧马人野外放马，并喜爱马，只要一见马精神十足，兴奋的不得了。他骑在马上手舞足蹈，手持一根木棍酷似一名勇士，那时他能持棍刺击野鸡野兔。七岁时，单独骑马追击野狐山鹿，从无空手而归，经常将重于他几倍的小马驹抱起玩耍，有时举过头顶。

　　九岁那年，随父母到补红湾拜见外公，外公杀羊招待，大人们在羊群中逮羊不得手，他却上去生擒两只，观者为此惊叹，外公见状大喜，当即送与好马一匹。从此吕布与马为伴，精心料理，爱马如痴，从不离胯。

　　十一岁时，匈汉两族边民在白马寺庙举行大型庆典，吕布随父前去参加，在赛马比赛中，他的骑技超人，马快如箭，雄姿展现，一举取得了骑手荣誉。好斗的吕布，在观看摔跤比赛时，他看到摔跤手屡战屡胜全无对手，心中不服，独自冲入赛场，大声喊道：“我来试试！”

　　摔跤胜者见是一童子，根本不把他放在眼里，瞬间二人扭在一起。经过几个回合较量，吕布竟将身高和体重比他超出几倍的大力士摔跤手撂翻在地，顿时轰动了整个赛场，人们呼之为大力士神童。

　　从此，五原地区家喻户晓，人人皆知，并引以为自豪。汉灵帝熹平五年（公元176年），鲜卑部落军事联盟四处武力扩张，对东汉进行掠夺战争。东汉边将大举南迁，时年，吕布随父南撤到山西境内，归附为并州刺使丁原部下。