自从二袁对抗以后，吕布从关中逃出，先投了袁术，后投奔袁绍。
起初，吕布带领张辽、高顺杀出武关，带着董卓首级和数百骑兵直奔洛阳。这个首级太重要了，那可是吕布炫耀的资本。一般都是用生石灰涂抹防腐，再用匣子封起来。由于董卓的脑袋大，所以匣子自然也不小。
当时洛阳残破不堪，吕布又没有粮草，只能尽快找个栖息地。在他看来，袁术坐镇南阳，距离较近，加上袁术名声在外，应该不会拒绝他。何况吕布手中有董卓首级，正好可以作为见面礼。
袁术见吕布前来投奔，又见吕布献上了董卓首级，顿时大喜。董卓曾诛杀袁术叔父和袁氏不少族人，袁术对他是恨之入骨，当即盛情挽留吕布。吕布大笑，假装推辞一番，最后还是留了下来。
袁术原本准备让吕布代替孙坚的位置，派他去攻打刘表，不过被主薄阎象劝住了。阎象私下道：“主公，吕布是恶狼，丝毫没有感恩之心，当初丁原与他情同父子，任命他为主薄，可惜吕布不思感恩，不仅背叛了丁原，而且诛杀了丁原，这就禽兽了！后来董贼认他为义子，又任命他为中郎将，他居然与董贼的侍妾私通，谋杀了董贼。主公，你觉得你对吕布再好，能好的过丁原和董贼吗？”
袁术顿时吸溜一声，只觉一阵后怕，坐立不安。但吕布毕竟对袁家有恩，他又不忍过河拆桥，直有些左右为难。瞅着阎象，面露难色道：“可是吕布毕竟千里迢迢来投奔我，我总不能拒人于千里之外吧？如果让天下人知道，今后谁还敢来投奔我？”
阎象捋着胡须笑道：“主公放心，我有办法驾驭这头恶狼，至少能保证他不会咬到主公。恶狼嘛，不能喂得太饱，只有始终让他处于饥饿状态，他才能知道谁是自己的主人。如果这还训不服他，就可以考虑将这头恶狼赶走，以免他反客为主！”袁术欣然点头，没有立刻答应接纳吕布，反而暂时留他小住一段时间，准备观察观察。
不过吕布仗着曾斩杀董卓立了大功，又对袁术一家有厚恩，对袁术常常十分慢待。每次袁术一谈到董卓、李傕等人，吕布立马抢过话自吹自擂：“袁公，不瞒你说啊，当初我在董贼手下，那可是比他五虎猛将地位还高，董贼甚至把亲兵都交给我执掌。只要我吕布往那一站，没人能靠近董贼，就算李傕、郭汜加起来也不是我的敌手。可恨啊，这群蜀地叟兵竟然打开长安门迎狗贼进京，我这才大败。如果袁公能给我三万精兵，我保准能帮你拿下长安！”
袁术无奈，只好转移话题，怒骂袁绍。吕布又抢过话吹牛道：“袁公不必生气，袁绍不值一提，当初我在河阳一人就镇住了袁绍三万大军，就算颜良、文丑加在一块也不是我的敌手。如果袁公肯给我两万精兵，我保证替你荡平冀州，扶袁公做冀州牧！”
袁术哭笑不得，无奈道：“眼下我对河北没有兴趣，我现在当务之急是拿下荆州、兖州，斩断袁绍的臂膀。”
吕布大笑，又夸口道：“兖州曹操更不值一提，当初他就被徐荣打得屁滚尿流，而徐荣不过是我的手下败将。如果袁公肯给我一万精兵，我保证替你荡平兖州，取曹贼首级献给袁公。”袁术想起阎象的话，端酒遮掩，笑而不语。他毕竟出身名门，最看重的就是礼仪，对吕布的匪气十分不满，但一直没有发作。
后来吕布觉察出袁术对他有些冷落，于是私下募兵，又随意劫掠百姓，逐渐引起了袁术忌惮。这日袁术召来阎象询问对策，阎象摇头道：“狼要咬人了，主公不给他兵，他竟然私自募兵，这样下去，迟早反客为主。我有一计，可以逼走吕布，又不至于结仇，还能保全主公名声。”
袁术大喜，忙唤来吕布。吕布还以为袁术要让他领兵打造，笑容满面前往府上。袁术拉着吕布手笑道：“奉先啊，我这里暂时没有什么大的战事，留你这样的飞将也没有用武之地。不如这样，你夺下豫州作为立足之地，我赠你兵马一千，粮草一万石，怎么样？”
吕布大喜，当即率军前往攻打豫州阳城。原本孙坚是豫州刺史，自从孙坚战死荆州后，袁绍再度染指豫州，任命阴夔为豫州刺史。阴夔拥兵五千，驻扎阳城。见吕布率军前来进攻，阴夔料定必是袁术派来的，一边坚守不出，一边派人招揽吕布。
吕布接到阴夔书信，有些心动。又望着眼前城市坚固，兵马重多，逐渐垂头丧气。再瞅瞅书信，不禁怒骂道：“袁术这狗东西，不是摆明了坑老子吗？我区区两千兵马怎么可能攻得下阳城？何况九江太守又是袁绍的人，如果阳城有事，他必会前来援助。可恨！”他立刻命人回信，相约城外洽谈。
阴夔趁机劝道：“飞将军是大汉功臣，先诛杀董贼，后护卫陛下，如今怎么沦落到这一步？听说将军不受袁术待见，袁术这等小肚鸡肠的人没有容人的雅量，将军不如投奔我家主公，必能够得到重用。”吕布欣然答应，率军直奔冀州而去。
袁绍听说吕布前来投奔，当即出迎十里，对吕布十分优待。设宴摆酒，请来文臣武将一同作陪。当时文有沮授、田丰、许攸、荀谌、郭图、审配、逢纪、辛评等人，武将有颜良、文丑、淳于琼、崔巨业、张郃、高览等人。
酒过三巡，袁绍眼神暗递，文丑端酒起身，不屑地望着吕布，“听说飞将军曾吹嘘一个人打我们兄弟两人绰绰有余，今日主公高兴，不如咱们比武助兴，将军敢不敢？”
吕布嘿嘿一笑，望着袁绍道：“袁公见谅，当日我就是吹给袁术听的，当不得真。两位将军千万别往心里去，今后咱们一同在袁公手下做事，还望两位兄弟多多照顾。”
颜良趁机起身逼迫，“世人都说西吕布东潘凤，当年我们兄弟二人力战潘凤，没有分出胜负。可惜后来潘凤中毒死了，我一直觉得遗憾。你既然与潘凤齐名，想必有些能耐，不如与我们兄弟二人比试比试，为主公助兴！”
崔巨业、淳于琼等人趁机起哄，吕布见下不了台，只好起身迎战。袁绍亲自率领众人到堂前观看，吕布与文丑站在院中比试。颜良手握玄灵大刀在一旁为文丑掠阵，随时准备援助。吕布部将张辽、高顺、魏续、宋宪等人职位太低，都不在场。
吕布手持方天画戟，文丑手握黄金飞枪，两人同时出手，战作一团。酣战上百回合，文丑枪法逐渐散乱。颜良瞧出问题，高呼一声，随后挥舞大刀助战。吕布听见颜良要助战，急忙后撤，颜良、文丑趁机左右夹攻，鏖战半日，难分胜负。