洋务运动的另一项重要内容是编练新式陆海军和加强海防建设。从1861年起，洋务运动集中力量建设陆海军和海防，目标是提升中国的军事实力。洋务派不仅购买了西式的枪炮，还开始聘请英法教官，使用西式阵法训练军队。1862年初，奕诉等人就在天津建立了洋枪队，聘请外国军官，使用西方战术训练京营八旗等兵勇一千多人。随后，广东、福建、江苏、湖北、贵州、云南等省也开始根据天津的训练标准，培养洋枪队和炮兵。1864年，奕误等人在北京建立了威远队，专门进行西式的枪炮和阵法训练。到了1866年，奕诉等人在直隶选拔并训练了六军，人员达到一万五千人，这些被称为练军。 从1862年起，李鸿章利用上海的便利条件和充足的军费，开始为淮军配备西式枪炮，并雇佣洋人教习传授西洋枪炮和阵法。到1865年年底，淮军的兵力从六千人扩充到了五万多人，装备了西式枪炮，废除了传统的抬枪和鸟枪，组建了洋枪队和四营炮队，淮军成为当时装备最精良、战斗力最强的军队之一。同时，左宗棠的湘军也开始装备西式枪炮，1863年创建了洋枪队。1867年，左宗棠进军西北后，派人到上海采购西方枪炮，并在西安和兰州设立军火制造局，使湘军的西式装备大幅增加，成为一支重要的新式陆军力量。19世纪80年代以后，淮军作为主力的新式陆军遍布南洋、北洋等地，以及西北地区，逐渐取代了八旗和绿营等旧式军队，负责各地防卫，形成了防军体系。

在建设新式陆军的同时，洋务派也着手筹建新式海军。1861年7月，奕诉、文祥等人向清政府奏请购置西式船炮，建立新式水师。根据广东海关副税务司赫德的建议，清政府委托正在英国养伤的李泰国向英国订购兵舰。次年，英国海军上校阿思本率舰抵华，要求完全掌握舰队指挥权，但清政府严词拒绝，并决定解散舰队，革去李泰国的职务。阿思本事件造成了清政府重大经济损失，白银耗损约九十万两。虽然初次购买西方船炮的尝试失败，洋务派开始转向自建船舰和加强海防的工作。 1874年，日本侵略台湾和东南沿海，这一事件在国内外引起了极大震动，也促使海防问题成为当时的焦点。为了防止日本再次入侵，许多官员要求购买西方铁甲战舰和水雷等先进武器，建立海军，强化海防。经过半年多的讨论，清政府于1875年5月任命沈葆祯、李鸿章分别负责南北洋海防事务，筹备近代海军的建设。同时，每年拨出四百万两海防经费，计划十年内完成南洋、北洋和粤洋三支海军的建设。然而，由于各省拨款不足，海防经费极其紧张，清政府决定优先发展北洋水师，由李鸿章负责筹建。1879年，李鸿章在天津设立水师营务处，负责海军日常事务，并调派淮军提督丁汝昌负责北洋海军的建设。 1881年，丁汝昌被任命为北洋水师的总指挥。到1884年，福建、南洋和北洋水师初步成形。福建水师由闽浙总督节制，拥有十一艘舰船，负责福建和广东海域的防卫；南洋水师由两江总督兼南洋海防大臣负责，拥有十八艘舰船，主要防卫江苏和浙江；北洋水师由直隶总督兼北洋海防大臣管理，拥有十四艘舰船，主要负责山东、直隶和天津海域。尽管三支舰队的船只数量和质量有所不同，但与西方国家相比，船只吨位、行速等方面仍存在较大差距。同时，由于北洋水师由李鸿章领导，南洋水师则由湘系官员掌控，三支海军各自独立，缺乏统一指挥，导致整体实力大打折扣。 在1884年的中法马江海战中，福建水师由于准备不足遭遇法军袭击，几乎全军覆没。尽管战后有补充，但难以恢复成军。中法战争结束后，海防问题再次成为焦点，清政府决定加强海军建设。1885年，清政府批准成立总理海军事务衙门，负责海军和海防事宜，任命奕嬛为总理大臣，奕励和李鸿章为会办，实际事务由李鸿章主持。此时，海军正式成为国家军种，北洋海军也进入了一个新的发展时期。李鸿章从英德等国购买铁甲船、新式快船及鱼雷艇，修建了旅顺和威海卫两个军港，并为水师官兵聘请外国教官进行训练。

到1888年，北洋海军拥有舰船二十五艘，总排水量达到三万九千吨，成为远东最强的海军舰队。舰队的驻泊、训练、编制和后勤保障也已逐渐完善。同年12月，清政府正式批准《北洋海军章程》，北洋舰队成为一支庞大的现代化海军。然而，这一时期的海军建设并没有给清政府的海防带来根本性改变。 自1888年起，为了庆祝慈禧太后的六十寿辰，海军衙门将大部分的四百万两海军军费挪用来修缮颐和园，导致海军建设停滞不前。北洋和南洋等地无法更新舰船和设施，导致装备逐渐落后。同时，北洋海军内部矛盾重重，管理松懈，腐败现象严重。海军将领以闽籍为主，常自成一派，排挤非闽系官员，导致指挥不一，号令不行。军中散漫轻浮，许多将领在训练中敷衍塞责，士兵们常常无事可做，甚至常常离舰嬉戏。这一系列问题严重影响了北洋海军的战斗力，最终在中日甲午海战中，北洋海军遭遇惨败。