有天夜里，高欢路过杜洛周的大帐，听见里面传来女人的哭喊声。他扒着帐帘一看，只见杜洛周正搂着一个年轻妇人喝酒，那妇人的丈夫就跪在旁边，被打得满脸是血。高欢私下跟司马子如吐槽：“这货跟土匪没两样，要是能成事，太阳都能从西边出来！”
没过多久，他就带着司马子如、孙腾偷偷跑路 —— 怕被杜洛周发现，他们半夜用绳子溜出营地，连行李都丢了。一路向西跑了半个月，又投奔了另一支起义军的首领葛荣。
葛荣比杜洛周强点，至少懂得收拢人心。他是怀朔镇出身的鲜卑人，早年当过镇将，拉起的队伍很快就扩充到几十万。可高欢跟他待了没多久，又发现了问题：这人心胸太窄，满脑子就想着称帝。有次葛荣召集将领开会，居然直接拿出了龙袍，说要在邺城登基。高欢忍不住劝：“现在洛阳还没打下来，西有尔朱荣，南有萧梁，称帝太早了！” 葛荣当场就翻了脸，把高欢骂了出去。
更让高欢心寒的是，葛荣对手下的将领处处提防。有个叫斛律金的将领立了战功，葛荣不仅不赏，还怀疑他要造反，把人家的兵权给夺了。高欢看在眼里，心里暗暗盘算：跟着这俩货，迟早得掉脑袋。
就在这时，他听说尔朱荣在晋阳招兵买马。尔朱荣是契胡贵族，家里世代为北魏镇守北境，手下的 “契胡铁骑” 号称 “一人当百”。更重要的是，这人野心大，手段狠，去年还平定了秀容川的叛乱，名声大得很。高欢当机立断：去投尔朱荣！
他带着几个人往晋阳赶，路上特意买了件干净的胡服，把头发梳得整整齐齐。第一次见尔朱荣时，他没像别的投奔者那样跪地求饶，而是站在帐下，从容不迫地分析起天下大势。“现在葛荣拥兵数十万，看似厉害，其实都是乌合之众；杜洛周胸无大志，早晚被人吞了。真正能成大事的，只有明公您。”
尔朱荣盯着他看了半天，突然问：“洛阳的胡太后杀了先帝，你说我该怎么办？”
高欢心里一喜，知道机会来了。他往前迈了一步，声音洪亮：“太后乱政，害死先帝，这是天怒人怨！您要是打着‘为先帝报仇’的旗号进洛阳，天下人都会跟着您 —— 到时候您挟天子以令诸侯，谁敢不服？”
尔朱荣眼睛都亮了，当即拍板：“就按你说的办！” 他立马任命高欢为参军，让他跟着自己筹划进军洛阳的事。
可高欢没高兴多久，就差点把命丢了。永安元年四月，尔朱荣带着大军进了洛阳，把胡太后和三岁的幼帝元钊扔进黄河，又在河阴之变中杀了两千多个王公大臣 —— 从丞相到县令，只要是洛阳的官员，几乎被斩尽杀绝。
贺拔岳是尔朱荣的亲信，见高欢本事大，怕他将来抢了自己的位置，就跟尔朱荣说：“高欢这人心机太深，又跟六镇降兵熟，留着是个隐患，不如杀了！” 尔朱荣当时正杀红了眼，听贺拔岳这么说，立马下令把高欢绑了。
绳子勒得高欢肩膀生疼，他却没求饶。“您杀了我容易，” 他盯着尔朱荣的眼睛，语气平静，“可葛荣的几十万大军还在河北，谁帮您收拾？那些六镇降兵只服我，杀了我，他们立马就得反！”
