李鸿章抵沪就任苏抚后，遵循“专以练兵学战为性命根本”的师训，积极“练兵练器”，大力加强军事实力。
当时李鸿章虽然身为一省之长，但政令却不出上海孤岛。连成一片的太平天国苏浙根据地，沿江连营、深沟高垒、四面包围、待机进取上海的太平军，使李鸿章深感强敌环伺，仅凭原有的 13 营淮军既无法击退太平军、保住上海，更难以歼灭太平军、“规复苏常。”因此，他当机立断，把募勇添兵、扩军备战放在一切工作首位。在 1862--1864 年间，李鸿章就增建淮军营头30 余个。淮军扩充营伍的方式，与湘军的不尽相同。将帅返湘募勇是湘军采取的主要方式，淮军起初也曾效法过这类作法。1862 年夏李鸿章曾委派张树声、吴长庆回皖招募树字一营、铭字两营、鼎字两营、庆字两营、开字两营，共计 9 营。但是，对于张、吴返乡招勇一举，社会上留难、嫉忌者所在多有。李鸿章为此曾向曾国藩诉苦说：“新募各营，其有成军起程禀报到辕者，求通行沿途营卡放行，张树声等五营，李世忠来咨，疑为奸细，竟有留难之意，即都（兴阿）黄（彬）各处，嫉忌多端，千里募军，殊为耽心。”除了李世忠“留难”、都、黄“嫉忌”外，曾国藩甚至一度截留张、吴所募 9 营防守无为、庐江，将其置于无用之地。此后由于时势危迫、需兵孔亟而就地取材较为便捷，所以淮军再无统将返乡招勇之事，而主要采取改编原有防军、借将带兵、收编两淮团练和太平军降众等方式扩充营伍。前江苏巡抚薛焕所部防军不下 5 万，李鸿章根据“就地陶洗”、“择将而使”的原则，将“洋烟油滑之徒”陆续简汰，“遣去三万余人”，对于选留的万余人，其中不少是湘淮籍兵勇，则用湘军规制，重新编组，有的以原有之将统领原有之兵，有的另行委派统将，前者如况文榜常字营、梁安邦虎字营、刘士奇奇字营，后者如郭松林松字营。其中奇字营和松字营逐渐成长为淮军主力之一。奇字营是由薛焕派滕嗣林在湘所募抵沪之勇 7 百人组成，以出身防军的刘士奇为统领，后被李鸿章收入淮军。郭松林原为曾国荃部将，以慓悍著称，因遭忌出走，于 1862 年 6 月末只身赴沪投效淮军。李鸿章致函曾国荃说：“郭松林来沪，正值紧急之际，鸿章稔知其打仗奋勇，因调沪中旧营，令其选练五百人，求公赏借，勿苛责之，鸿章当时时箴砭其过。”
李鸿章收编两淮团练，除附轮抵沪的铭、鼎、树、庆诸营外， 还有随后由陆路绕江北而抵沪的亲兵营、盛字营和传字营。亲兵营的统领是李鸿章弟弟李鹤章。1862 年曾国藩让李鹤章带领因“洋船不能尽载”而滞留在安庆的淮军各营马匹 5 百并增募淮勇于人， 绕道淮扬里下河，出海门抵上海，随李鹤章带队东下的还有周盛波和周盛传兄弟。周氏兄弟原为合肥西乡团练头子之一，与张树声、刘铭传相为犄角，后曾归隶李元华部，随李鹤章抵沪后，便以所部成立盛字营和传字营。
李鸿章在创建淮军之初，面对“各营宫尚有可用之材，但无统将”的现实，不得不借将带兵，著名的除借自曾国茎的郭松林外， 还有借自鲍超的罩联陞、宋友胜、杨鼎勋。李鸿章抵沪后，令罩氏立覃字营，杨氏立勋字营，宋氏统带水师，在借将统带的各营中，松、勋两营，后来几乎同铭、盛、树、鼎诸营并驾齐驱。据刘体智说：郭、杨二将先从李鹤章观察“为裨将，既而与淮将铭、盛、树、鼎四军合力排观察去，诸军皆自立，不相统属。论者常晒之曰：铭、盛、树、鼎犹鸟也而无翼，今得郭、杨以为之翼，于是乎飞矣，湘淮蝉蜕之形始此。”
李鸿章极为重视收编太平军降众的工作。因为这既有利于瓦，解太平军、扩大淮军兵员，又能实现所谓“以毒攻毒”的阴谋。李鸿章充分地发挥了皖籍太平军叛徒程学启的带头羊作用，侧重招降皖籍太平军将士。他写信给曾国荃炫耀说：“敝乡人陷在忠党（指李秀成部）最多，来归者相望于路”。淮军收编太平军降众，在数量上远远超过改编的防军，而其中成为太平军劲敌的则有吴建瀛的建字营、周寿昌（即钱寿仁）的昌字营、骆国忠的忠字营等。
此外，李鸿章还曾采取委托外***官练军带兵、截留常胜军余众等方式，以扩充淮军营伍。
李鸿章在创立和扩充淮军陆营的同时，也注意组建自己的水师。最早的一支淮军水师，是在安庆组建的善字营，以无为州外委孙善成为统领，拥有五只炮船，随淮军陆营东援上海。李鸿章抵沪后，改编了上海旧有水师防军和苏嘉等地部分枪船。上海旧有水师防军，以江南提督曾秉忠为统领，全系广勇。李鸿章起初将其裁减一半，仍由曾秉忠统领，不久又进行了一次精简整编，改派曾守忠、蔡渭川、曾敏行等分别统领，仍称师船。苏嘉各处枪船，约有万余只。李鸿章认为枪船成员“大都游民土匪，依违两边，用以侦探向导则可，冲锋陷阵则不能”。对于这些枪船，黄翼升与淮军诸将“皆厌弃之”，惟有李鸿章力主采取“羁縻”之策，并收编了安徽合肥盐枭出身的郑国魁、郑国榜等人的枪船，立魁字 2 营。此外，李鸿章还在铭军中设有水师 2 营，鼎军和春字营中各设有水师 1 营。
由此可见，李鸿章扩充淮军，同创立淮军时一样，并没有遵循湘军“选士人，领山农”的建军路线，而是以地主团练、太平军降众和旧有防军为主要吸收对象。这种作法，引起了某些卫道者的批评，刘秉璋就曾为此而发过一通“愤激之论”，据他的儿子回忆说：
同治三年甘肃平凉道合肥李季荃观察鹤章，因统领淮军未能大得志，致书先文庄公（刘秉璋）云：恨不能读书成进士， 人词馆，为带勇根基云云。先文庄公以书戏之日：带兵最合法有十等，一为粤捻匪投诚，次为土匪投诚，三为光棍地痞， 四为行伍，五为不识文字，六为秀才，七为五贡，八为举人，九为进士，十为翰林。公本为六等，何必羡慕九十等那？云云。先文庄公之言，实属愤激之论。刘秉璋的这通议论，显然是针对李鸿章轻视门第身世的倾向而发的。刘秉璋字仲良，安徽庐江人，咸丰十年进士，早年曾师事李鸿章，1862 年 10 月经李鸿章奏调抵沪襄助军事，统领庆军。他是淮军将领中除李鸿章之外唯一的进士。李鸿章称誉他“沈毅明决，器识宏深”，与之“为道义交十有余年，深知结实可靠”。李、刘之间虽有师生之谊，但对许多问题的看法却“殊不能相惬”，曾国藩、左宗棠乘机插手，“时露招致之意”。建军路线就是双方分歧的主要内容之一。据不完全统计，这个时期淮军核心分子即淮军大枝劲旅的统领共计 15 人，即亲兵营李鹤章为贡生、团首；铭字营刘铭传为团首；开字营程学启为降将；奇字营刘士奇为防军；鼎字营潘鼎新为举人、团首：盛字营周盛波、周盛传为团首：树字营张树声为廪生、团首，张树珊、张树屏为团首；庆字营刘秉璋为进士，吴长庆为世职、团首；松字营郭松林为木工；勋字营杨鼎励为防军；加上最高统帅李鸿章为进士；其中有科名的 5 人，余者多为地主团首或团勇以及防军、世职、木工、降将等，这同重要统领多有科名的湘军形成了鲜明对比。在淮军统领中，李鸿章特别器重太平军叛徒程学启，将其吹捧成“沪军第一骁将”，自己的“左臂”，说什么“此公用兵方略为十余年来罕有之将”。相比之下，在淮军统领中科甲出身的既少又难得重用，这就不能不引起拥有进士、举人之类头衔的将领的不满和非议。刘秉璋的“愤激之论”，正是这种情绪的反映。
李鸿章轻视门第出身，但却重视以同乡、同事、师生、亲族等封建关系作为维系淮军的纽带，而这是同湘军一脉相承的。即 以上述 15 名淮军核心分子为例，同乡关系表现得最为突出，安徽籍者多达 12 名，其他湖南籍 2 名、四川籍 1 名。除了同乡关系之外，还有兄弟关系，包括 3 个家族 7 个兄弟，即李鸿章与李鹤章、周盛波与周盛传、张树声、张树珊与张树屏；师生关系涉及 10 人，即刘秉璋、潘鼎新为李鸿章弟子，周氏兄弟、张氏兄弟和郭松林、杨鼎勋也师事李鸿章；姻亲关系涉及 4 人，即刘铭传与杨鼎勋，刘秉璋与吴长庆。凡此种种，可以说是整个淮军内部封建关系的缩影。
除了淮军陆营和水师之外，李鸿章还统属淮扬水师和太湖水临淮扬水师系由曾国藩一手办成，统领黄翼升及营宫借自湘军外江水师，饷项分自湘军内江水师，营勇募自湖南，沿袭湘军传统，并无淮军色彩。
太湖水师是 1862 年由曾国藩经手造船集军而成，战船造于安徽铜陵峡，营伍调自湘军外江、内江水师，井从外江水师借调李朝斌为统领。1863 年 6月曾国藩决定“调李朝斌领水师赴上海，腾出黄翼升水军溯江人淮，以为临淮宫军之助”。曾氏意在以李换黄，但李鸿章却企图控制两支水师以为己用，因而一面奏留黄翼升，一面催调李朝斌。8 月李朝斌带领太湖水师抵沪，而黄翼升和淮扬水师却仍旧原地不动。
李鸿章从抵沪到完成“以沪平吴”任务，历经 29 个月，所部兵勇逐渐扩充。1863 年 5 月他函告吴棠：“敝军水陆接续召募，现已 4 万人，分布浦东西数百里间，犹觉左支右细。”及至 1864 年 10 月他再次对吴棠说：“敝部水陆七万人，忙时有益，闲时多愁。”从这两封信中，可以窥出李鸿章扩军的趋势。当然，所说水陆军 4 万或 7 万，并非尽属淮军，而是以淮军为主；兼及其他以巡抚身份统驭的诸军。
李鸿章在扩军的同时，积极引进西方的武器装备和机器生产，以图“自强”。他的这种“自强”活动，是 19 世纪 60 年代初兴起的洋务运动的重要组成部分。洋务运动是由于太平天国运动和第二次鸦片战争沉重地打击了清朝封建统治而引发的，倡导洋务运动的则是一批以洋务派著称的人物。洋务派是由部分王公贵族、地方督抚、买办商人、地主士绅和知识分子组成的政治派别。站在支配这个庞杂派别政策地位、决定洋务运动性质和方向的，是其中的满汉军政要员，如奕、文祥、曾国藩、左宗棠和李鸿章等。这些军政要员虽然出身、阅历、权势和识见不尽相同，但在阶级立场和政治观点等方面，却是基本上一致的，而正是这些共性使之成为洋务派的主导力量。他们都是从封建顽固派中分化出来的具有深厚的儒学素养和强烈的经世要求的人物，掌握并利用清朝部分中枢和地方政权作为杠杆推行“洋务”；他们都坚持“中学为体，西学为用”的指导思想，既保留儒学传统，又引进西学新知，企图借用西方资本主义的甲胃以保护清朝封建主义的躯体；他们都是带有买办倾向的封建官僚，对待外国侵略者既有妥协的一面，又有从封建统治利益出发而抗争的一面。当然，这些作为洋务派主导力量的军政要员，在洋务运动中的地位和作用也并非是等齐划一的。
李鸿章早在安庆时就开始接触洋人和西方的坚船利炮，萌发了“师夷之长技”以“自强”的念头。1862 年 3 月底李鸿章在带领淮军附轮东下前夕，曾致函李桓说：“昨见洋酋，亦颇恭顺，恐有万变，图在后与之为无町畦，而求自强之术耳。”及至上海，在与洋人的频繁接触中，看到在热武器方面中国远逊于西方的现实，并断言这正是中***队和国家衰弱的决定性因素，中国只有移植西方的武器装备和机器生产，才能“自强”。他所言的“自强”，首先是针对太平天国的。因为在他看来，借用西方资本主义甲胃，是为了保护清朝封建主义的躯体，而当时对清朝封建统治的威胁主要来自“内寇”。他说：“目前之患在内寇，长久之患在西人。”这表明李鸿章“自强”的目的，眼前是***太平天国，从长远来说也含有抵御外侮之意。不过抵御外侮在当时既不是“自强”的主要出发点，也不具有任何实践意义。因为中外***都把太平天国视为大敌，李鸿章执意“借师助剿”，英法列强决心进行武力干涉。虽然李鸿章同洋人也不无权益之争，但这是从属于中外勾结共同绞杀太平天国的大局的。
李鸿章在“华洋会剿”***太平天国期间，一面震惊于洋枪洋炮的神奇，一面看到李秀成所部“专用洋枪，力可及远”，因而得出淮军”惟有多用西洋军火以制之”的结论。
李鸿章“讲求洋器”，一开始就遇到不少阻力。外则英法列强对先进武器“禁不出售，价值过昂”，内则怀疑、阻挡者所在多有，特别是其师曾国藩“始不深信洋枪火药为利器”，不大赞成李鸿章的做法。李鸿章复信曾国藩表示“用兵在人不在器，自是至论”，自己“岂敢崇信邪教，求利益于我。惟深以中***器远逊于外洋为耻，日戒渝将士虚心忍辱，学得西人一二秘法，期有增益而能哉之。”在实践中，李鸿章“讲求洋器”，从购买洋枪炮开始，渐趋把购买西方枪炮和自己制造、聘请外***官训练军旅结合起来。他首先急索“妙品”，购买洋枪洋炮不惜重资。当时淮军所购用的，与洋兵一样，“皆系前门枪炮”，其中得力者尤以炸炮为最。他设法弄到了 32 磅、68磅大炸炮。
