法军处处失败，迫使罪魁、法国战争挑起者茹费理内阁倒台。光绪十一年（1885年）四月，中法战争结束，中国打了胜仗，但腐败无能的清政府在以李鸿章为首的议和派鼓动下，以此胜利作为资本，竟向法政府求和。当年六月，李鸿章代表清政府与法国驻华公使巴德诺在天津签订了《中法天津条约》，承认越南为法国的保护国，给予法国在中国广西、云南的通商特权。
法军畏惧刘永福的黑旗军，要求刘永福黑旗军离开越境。刘永福于1885年八月率3千多黑旗军回到国内，清政府明里升任刘永福为广东南澳镇总兵，暗中将黑旗军人数减到1千余人，后又裁减到3百余人。光绪二十年（1894年），中日甲午战争爆发，刘永福率黑旗军入台， “帮办”（协助）台湾防务。刘永福黑旗军与台湾军民（台湾抗日义勇军）协同，坚决反抗日军入台。
期间，黑旗军打了不少漂亮仗。因甲午海战，中国战败，光绪二十一年（1895年），清廷与日签订了丧权辱国的《马关条约》，将台湾割让给开日本。刘永福黑旗军只能边战边退，先后在新竹、苗栗、彰化、嘉义、台南等地重创日军。刘永福在台湾血战近五个月，严词拒绝了日寇的劝降。后因弹尽粮绝、孤立无援，仅凭白刃战与日军搏斗，黑旗军与台湾抗日义勇军大部战死。
1895年10月19日，日军大举进攻台南安平炮台，刘永福亲手点燃大炮，轰击敌舰。当晚，日军攻城益急，城内因无粮草弹药，在恶战中，士兵精疲力尽，饿得竟不能举枪挥刀。当时，城中已经大乱，刘永福见大势已去，仰天捶胸，呼号哭泣说：“我何以报朝廷？何以对台民”！九月二十一日，台南最终失陷，台湾全境被日军占据。当天夜里，刘永福带领养子刘成良等十多个黑旗军部下先乘坐小艇，后搭上英国商船“迪利斯”号潜回福建厦门。
他们从福建漳州到广东广州，刘永福和仅有的几个黑旗军勇士受到沿途各地军民热情欢迎。刘永福知道清政府腐败无能，便辞掉官职，回到故乡（今广西）钦州。次年（1895年），粤督谭钟麟数电催刘永福回广东军械局任职，刘永福委婉推辞不干。光绪二十四年（1899）年冬，义和团运动爆发并席卷北京。刘永福奉旨调北京镇守，刘永福借故迟迟不行，后经多次催促方始起程。
新组建的黑旗军刚到衡州（今湖南衡阳）时，又奉清廷电令调回广东惠州、潮州弹压农民革命军。回到广东驻地，刘永福以所部新建、不熟悉情况等借口，拒绝接受剿灭农民革命军的任务。1904年，刘永福干脆以风湿病发作再三请辞，粤督李鸿章批曰：“声望素孚，威扬中外，纵有微恙，卧治也可”，不予批准。刘永福只好回广州沙河刘家祠休养治病。
