罗炳辉调任唐继尧随行军士不久，滇军上层的争权夺利斗争进入了公开化、白热化阶段，最终发生了顾品珍倒戈反唐事件，唐继尧被迫下野出亡香港。
顾品珍是唐继尧手下的一员得力战将，自护法战争始任驻川滇军第1军军长。1920年，驻川滇军与四川督军熊克武军争夺对四川的控制权而发生了川滇战争；10月，驻川滇军第2军军长赵又新阵亡，第2军也归顾节制，顾成为驻川滇军的实际主帅。滇军战败，两军全部撤出川境，退至贵州毕节。此次战争不仅将唐继尧多年来视为外府的四川地盘丢失，而且驻川滇军损失惨重，3万大军只剩兵力万余，枪支7000，辎重军需荡然无存，士气低落到极点。对于此次战败的原因，唐继尧认为主要是顾品珍对唐倒熊的战略方针心存疑惑，作战指挥失当之故。顾品珍原本就不赞成唐继尧对川军动武，将失败的原因完全归结于倒熊战略的错误。加之驻川滇军700万元的军饷拖欠未发，所以当时败退到贵州毕节的滇军，上至顾品珍，下至一般士兵，都对唐继尧心怀不满，秘密谋划倒唐。唐为稳定军心，下令将原来驻川滇军的2个军整编为2个混成旅，任命耿金锡为第1混成旅旅长、金汉鼎为第2混成旅旅长，任命顾品珍为滇东边防督办。顾口头上表示服从命令交出第1军军权，立即赴任，暗地里率部向昆明进发。就在这时，第8军军长叶荃先于顾品珍率部进军昆明倒唐，由于唐在叶密谋时得到了情报，预有准备，唐部迅速击退了叶部并尾追至玉溪、峨山。唐部主力远离昆明，给顾品珍率部威迫昆明创造了条件。顾于1921年2月6日率部到达寻甸，当日，以第1军编余将领邓泰中等名义发出讨唐通电。唐继尧权衡再三，觉得驻昆明的零星部队和警察难以守城，而远在滇南、滇西的主力短时间不可能回防，只得三十六计走为上计。7日，唐继尧通电辞职下野；8日晨，唐继尧率眷属、亲信和卫队离开昆明，乘滇越铁路火车南下，经越南抵香港避居。罗炳辉被唐继尧选作随从副官，一同赴港。
当时的越南，为法国所占领，中国云南也是法国的势力范围，因此法国殖民主义者不但在越南实行残酷的殖民统治，而且也在云南推行蛮横的掠夺和奴役政策。唐继尧一行经过中越边境口岸时，罗炳辉第一次目睹了法国殖民者蔑视欺压、野蛮对待中国人的恶劣行径，民族自尊心受到了极大的伤害。他在后来的回忆录中作了如下的记述：
我又看到帝国主义对中国人民简直不当人，如从云南到河口，过桥便是安南（越南），法帝国主义者统治的地方。在中国过桥过界时带一盒火柴，上税十洋元，带一枚针，上税十洋元，小刀等更是违法，只要在桥那边买枪刀均可过中国来。另在海防海关上，遇见一个云南人，由广东回安南，带水烟袋一只，是包好的，要上税六元，当时他答买来四元六角，要上税六元宁可不要，被法国人打两耳光，并将水烟袋连人推下水去，随后就将那人带走。我看如此蛮横无理气愤极了，当即问翻译，为什么无理打人，答外国人听不懂话，认为是骂他。
这一幕时常浮现在罗炳辉的脑海中，一种国家民族危亡感重重地压在他的心头。如何才能改变国弱民贫的状况，使一切列强不敢侵犯中国的利益、不敢冒犯中国人的尊严？罗炳辉反复地思索着，这成为他后来走上革命道路的因素之一。
到香港后，唐继尧对罗炳辉更为信任，将他们在香港一切物资采购和大宗开销都交由罗炳辉去办，成千上万的巨款经罗炳辉之手，出入都有专车。因此香港各界都将罗炳辉视为唐继尧的心腹红人和“财神爷”，罗炳辉所到之处均被奉若上宾，过着极其优越的生活。在旁人看来，罗炳辉的差事是一个肥缺，只要稍微动点心思，捞个上百万的钱财不费吹灰之力。倘若有一天唐继尧能重回云南执政，罗炳辉的前途更是不可限量。可这时的罗炳辉不但洁身自好，分文不沾，而且在精神上陷入一种深深的失望、痛苦和愤懑之中。
来到香港后，随着罗炳辉对唐继尧了解的加深，发现原本被自己视为民族英雄、护国元勋而无比敬仰和衷心爱戴的唐继尧，原来竟是一个利用兵权大肆搜刮民脂民膏、侵吞军费军饷的军阀。他在《我的思想演变》中写道：
我认清了军阀的欺骗，军民如何为国为民艰苦奋战，牺牲不断，他们是在吃兵血、民血，每时每刻奢华浪费到极点，银行还存有几千万至万万元。中法银行倒了唐继尧的四千万元，唐继尧闻之当时气得晕厥，约半小时才苏醒过来。唐继尧在日本还存了几千万。
更加使罗炳辉对唐继尧失望的是唐对孙中山及其北伐大局的态度。1920年10月，拥护孙中山的粤军驱逐了盘踞在广东的桂系军阀，于1918年护法运动失败后离粤赴沪的孙中山再次回到广州主政。11月29日，孙中山等在广州通电恢复军政府。唐继尧为军政府总裁之一并兼交通部长。唐继尧被顾品珍赶出云南后，孙中山任命顾品珍为滇军总司令，引起唐继尧的极度不满。1921年4月7日，国会在广州召开非常会议，并选举孙中山为非常大总统。军政府于5月4日撤销，5月5日孙中山在国会宣誓就任中华民国非常大总统，中华民国政府正式宣告成立。随后进行了援桂讨陆战争，消灭了北洋政府在南方马前卒桂系军阀陆荣廷势力，平定了广西，开始准备北伐。当国会选举孙中山为非常大总统之后，唐继尧对孙中山大加攻击，说孙中山推行独裁制，继而支持陈炯明反对孙中山，公开表示不与孙中山合作。
罗炳辉对孙中山先生的人品学说极为仰慕，对北伐战略衷心拥护。唐继尧为一己私利公然反对孙中山，彻底改变了罗炳辉对唐继尧的看法，深感自己再也不能做唐继尧的附庸了，“不愿久留下去，决心回去，愿在军队生活中苦干，以期能有反对这些黑暗的机会”②。他数次向唐继尧请假回云南，但唐看中罗炳辉忠厚正派，怎么说也不放他走。
这时，同唐继尧住在一起的一个师长姨太太真心喜欢上了英俊威武一身正气的罗炳辉。这个女子人不仅年轻漂亮，而且有一笔不菲的积蓄，她恳求罗炳辉同她一起去上海。唐公馆的一些参谋副官看出了她对罗炳辉的心思，都劝罗炳辉不要错过这个机会，说既有美色，还有钱财，何乐不为。但罗炳辉不为心动，坚决地拒绝了。后来那个女子带着70万元巨资去了上海。罗炳辉的同僚们都替他惋惜，说罗炳辉脑子不开窍，“愚蠢”得连送上门的好事都拒之不纳。他们哪里知道，罗炳辉追求的一不是女色，二不是钱财，而是一心想为改变这个黑暗的世道尽自己一份力。
1921年9月，罗炳辉在多次请假未获应允的情况下，给唐继尧留下了一封信，交清所有账目，从香港乘船取道越南返回云南。他在《我的思想演变》中作了如下记述：
私自买船票离开香港，未带一文一物，连我应得的两个月的薪饷都未领取。我要拐走数十过百万不难，明明知道那钱是刮地皮来的，可是我不应该有拐钞的不正当行为。脑子里始终没有想贪不应得之财产，鄙视这种行为的人。
罗炳辉离开香港经越南进入云南边境，云南边防督办为防止唐继尧势力反扑，对于入境人员检查十分仔细严格。在罗炳辉接受检查时，边检人员反复查问他与唐继尧有没有关系。罗炳辉看到边检人员对法国人低三下四，而对自己的同胞却盛气凌人，当时就火了。他将行李抛在地下说：
“你们只有这样对付中国人，为什么过桥去火柴、针都不能带，过桥来什么都可以带？唐家人，过去滇军哪个人不是唐家人？军阀争权夺利关我们老百姓什么事！”当时在场的督察官见罗炳辉竟敢蔑视边检，动怒地训斥道：“你这个青年好怪，盘查是他们的任务，什么人都要接受盘查，你也不能例外！”并让边检人员再过细检查。
罗炳辉一听更生气了，把行李打开说：“叫你仔细查好了！”
连罗炳辉也没有想到，他们从他的行李中搜出了一本写有“继尧”二字的书，当即将他逮捕，以重兵押送至昆明。罗炳辉一到昆明就引起当局高度重视，他们知道罗炳辉是随唐继尧一起出走香港的，认为罗炳辉是唐的亲信随同，这次只身回云南，一定是负有唐的重要使命。因此将他作为重案犯关进了总司令部军法处狱中。同室的犯人均是重案犯，每日均要提杀几人。有的看守对罗炳辉说过不了几天就要轮到他了。所幸罗炳辉的两个老上级在设法营救罗炳辉，一个是罗炳辉原来的营长，现任炮兵团长，一个是接收罗炳辉当兵的炮兵大队长刘安华，现任少将参议，他们与顾品珍关系密切。罗炳辉被关押半月后的一天，来了一排的武装人员提审罗炳辉，同室的人包括罗炳辉自己都认为是要被执行死刑了，但他毫无惧色，心想这样的黑暗社会不知冤枉死了多少人，现在轮到自己只好认命。罗炳辉一出门便被两个持枪的士兵一边一个拉住左右手。罗炳辉高声说道：“我又不会恐惧，何必这样呢？”但罗炳辉并没有被押赴刑场，而是来到了军法处处长秦兆瑞的会客室，一见面秦处长就让罗炳辉坐下，这时他就感觉可能不会有生命危险了。
秦处长问道：“你是随唐公出去的？”“是的。”罗炳辉坦然地回答。
“为什么要回来？”秦处长声音里带有一种质疑。
“我是中国人，送他出去是执行任务，回来是我的权利！”罗炳辉不客气地回答。“唐公是否给你使命？要直说！”秦处长语调严厉地问。
“我再三请假不准，又不愿久留，写了一封信即私自离开回来了。”罗炳辉如实回答。
秦处长不相信事情这么简单，再一次追问：“为什么要回来？”
罗炳辉不耐烦地回答：“我刚才说了，我是中国人应该回来，香港是外国租界，为什么我不能回来呢？过去你们不都是唐公的老部下，为什么你们可在云南呢？”
秦处长告诫罗炳辉：“你这青年脾气这样躁，强硬地蛮说，看你年轻有为，这样强蛮可惜了，应很好地照直说，我是想救你！”
但罗炳辉并不领情，毫不示弱地回答：“在你们手上冤枉死的人不知有多少，我的生死还不是捏在你们的黑暗专制下！”
秦处长大发脾气训斥：“你这个不自爱的青年，敢同我胡闹，有你罪受的！”
“我不是胡闹，我知道的是这样，当然照直说了，我再没有什么好说的了，您用不着生气。”罗炳辉的口气缓和了些。
秦处长也以缓和的口吻说：“唐公与顾公是政见不同，并不是对唐公有恶意，大家都很想念唐公，近来唐公好否，望告实情。即使是唐公派你有使命，也应直告，并不会怎样为难你，大家可以商议的。只要共同商议谋滇谋国的利益，是可以欢迎唐公回滇的，顾公他们是可以彼此原谅的。”
罗炳辉认为秦处长还是在怀疑自己，倔强地答道：“我来的经过是一点都不错的，凭空乱说我就无话可说了，军阀争权夺利，小兵小民都是该死的。”
秦处长没有想到面前这个小青年竟敢在滇军的军法处直言滇军前任和现任总司令是军阀，刚压下去的火气又撺了上来，大声怒斥：“你的说法不是在指唐、顾是军阀争权夺利吗？你这个青年如此胆大，连唐、顾两公都是你反对的吗？真可惜你这青年自找死路，好意挽救你，你这样不知好坏，真是不可救药，由你自己决定自己的生死好了！”
“不敢反对任何人，事实如此，只有照直讲，这样也犯罪，那样也犯罪，我有什么办法呢？请处长给我处置好了。”罗炳辉满不在乎地回答道。
秦处长叹息道：“你这个青年我很少见，如此无理，不知好坏，我没什么好处置的，你自己考虑好了。”
这时罗炳辉也觉得自己太不冷静了，带有歉意地说：“我是青年懂事少，请处长挽救，再无别的意见了。”
听他这么一说，秦处长火气也又平和下来，换了个话题问：“刘安华你认识不认识，他现在在哪里？”
听到老长官的名字，罗炳辉精神为之一振，回答说：“他是我当炮兵时的大队长，他对我很是器重和爱护的，自到广东后他不知去向。”
“你对他的印象怎样？”
“我们大队长公正廉洁，带兵如爱子，不要钱，我对他是最有好感的。”秦处长又问：“你在唐公身边这么久，你对他认识又怎样？”
罗炳辉毫不隐讳地说：“唐弄钱有几千万，兵血民血被刮尽，这对滇军是很痛心的，是云南的不幸、国家的不幸。”
秦处长点头说：“刘安华是我同学，他今早来我这里，提到你的问题，要保释你，可是你这个青年脾气不改，将来还是会有危险，如果改正很好地学习，将来前程远大，有胆有魄是好的，可是要遇着好上司才行，如果乱跑就可惜了年富力强的好光阴，应为国家做番事业，才不愧父母养育一场。我已向总司令要求准予释放你，今后不要再乱为了，否则仍然不能免罪，听到否？”
罗炳辉诚恳地说：“听到了，谢谢处长的教训，今后当守本分在云南做事，服从顾总司令，为国效劳。”
罗炳辉被释放了。秦处长转告罗炳辉，刘安华要罗炳辉到他那里去，并派人将罗炳辉送到刘安华处。
