方伯谦警告道：“朝廷向来是坚持衅不自我开，谁敢开第一炮惹麻烦？你可别自作主张，到时候我也保不了你。”
中国将运兵入朝的情报，很快传回大本营。一份是从总理衙门获得，知道李鸿章已经决定增兵朝鲜；一份来自天津，石川伍一从天津军械局的一名书吏手中买到了运兵船的确切行期；还有一份则是潜伏在威海的宗方小太郎提供，这个精通汉语与中国文化的间谍冒充中国农民多次进入威海卫军港，哪一艘军舰何时出港，他都及时发报。
时任“浪速”舰舰长的东乡平八郎在7月23日的日记中写道：“7月23日，星期一，晴天。晴雨表三十度一分，寒暑表八十六度四分。午前七点五十分，旗舰发出请来舰的信号。各舰长齐集，会议结束后，互祝健康，然后各归本舰。午前十一点开船。午后五点进入战斗准备状态。从午后八点，哨兵开始四轮班流警戒。”
对于仅派“济远”“广乙”“操江”三舰护航，三舰管带都有些担心，北洋舰队提督丁汝昌也觉得力量过单，他致电李鸿章，请求率海军大队跟进护航，并令各舰“升火起锚，戒严将发”。然而李鸿章认为日本虽然竭力备战，但我不先开仗，谅他们也不会动手，再说雇佣的是英国轮船，各船悬挂英国旗帜，日本舰队断不敢贸然行事。丁汝昌只好下令北洋舰队熄火。
济远、威远、广乙护航队与爱仁、飞鲸两艘运兵船先后顺利抵达牙山湾，方伯谦派威远舰去仁川发电报。威远舰管带林启颖在仁川遇到一位英国朋友，得到日本舰队可能于明日进攻中国舰队的消息，立即回牙山报告方伯谦：“方管带，听说日本舰队有十几条舰，咱们只有三舰，如何能够应付得了？”
方伯谦说：“等武器、兵马驳运完，我们就立即返航。这样吧，你的舰太弱，你先到大同江口，济远、广乙留下来协助驳运，等运完了咱们在大同江口汇合返航。”
牙山湾水浅，运兵船无法靠岸，全靠小驳船驳运，颇费时间。当天没有完成，连夜继续驳运，一直到六月二十三日（7月25日）晨四点左右，三艘运兵船才陆续驳卸完毕，方伯谦不敢再耽误时间，率“济远”“广乙”两舰立即离开牙山。而此时，日本舰队第一游击舰队司令坪井航三正率浪速、吉野、秋津洲三舰向牙山湾一带侦察，并奉命“遇有清朝增兵舰只，即行攻击”。
牙山湾外有个岛屿，叫丰岛。济远舰驶到丰岛时，站在舰首的枪炮手黄浩胜首先发现了日舰，他立即跑去报告：“舅舅，发现日舰。”
方伯谦夺过望远镜，果然，有三艘日舰正迎面而来。其中一艘，首尾皆有舰楼，而两楼之间则有纵跨整个主甲板的天桥，这是日本舰队去年才入列的“吉野”高速巡洋舰！
“吉野”的武器系统相当先进，4门6寸主炮和8门4。7寸副炮全是速射炮，此外密布军舰各处还有22门47毫米口径哈乞开斯单管速射炮，而且还配备上了刚刚问世不久的专用火炮测距仪，这意味着“吉野”舰火炮的瞄准、测距更为准确、便捷，战力可以得到倍增。
黄浩胜一挺腰板回道：“是，请管带指示，我们是不是先开炮？”
方伯谦眼睛一瞪道：“朝廷有谕，衅不自我开，我们绝对不开第一炮。”
“好，日舰若开炮，我不能等管带下令，就会立即还击。”
大副沈寿昌、二副柯建樟都到主炮台来临阵指挥。
由南而北迎来的日本舰队，突然转而向东航行，给济远、广乙让出了航道。大家都松了一口气，看来，日舰也没有开战的意思。然而，等济远、广乙进入丰岛南侧海面宽阔处后，日舰突然转舵返回，迎面扑来，“吉野”一声号炮，3艘日舰火炮齐发，集中火力突然轰击济远。
时任“浪速”舰长的东乡平八郎在战时日记中写道：7月25日，星期三，晴天。晴雨表二十九度九十分，寒暑表七十九度。午前七点二十分，在丰岛海上远远望见中国军舰济远号和广乙号。即时下战斗命令……
这是一场实力悬殊的战斗。日本三艘战舰总吨位11126吨，中国只有3300吨，不足日方的三分之一；日方舰炮82门，中国只有29门；日方平均时速20。3海里，中国16海里；日方总兵员1051人，中方只有314人。
大副、二副都到炮台来，大副沈寿昌亲自下令还击。一时间，丰岛海面上炮声轰鸣，硝烟四起。敌我五艘军舰，往来奔驰，互相轰击。速射炮的威力非常惊人，济远发射一发炮弹，吉野至少要打来五发。更令人震惊的是日舰炮弹的威力，它们灵敏度出奇的高，即便命中细小的绳索都会引发剧烈的爆炸，爆炸后还会伴随着熊熊大火，而且火焰会四散流动，所过之处一片火海。
与之相比，济远发出的炮弹就逊色得多。当时北洋海军各舰使用的炮弹主要有两种，一种是开花弹，另一种则是实心弹。开花弹的弹头内填充的火药，击中目标后会发生爆炸；而实心弹的弹头内则很少装药或不装药，更多时候是填充泥土、沙石来配重，击中目标后当然不会爆炸，只能借重力加速击穿敌舰引起进水。北洋舰队所用开花弹全靠进口，而已经停购船械三年，各舰所配开花弹极少，大多是购舰时所赠配。而且这些开花弹远远没有日舰炮弹的猛烈，更不会燃起熊熊烈火。济远的炮弹多次命中“浪速”和“吉野”，其中有一发炮弹击中吉野右舷，击毁舢板数只，贯穿钢甲，打坏发电机，落在机器间的防御钢板上，最后又落进了机器间，只可惜那是颗实心弹，不能爆炸。
“济远”舰的舰首主炮位置成为日舰攻击的重点，舰首的将士们不被炮弹炸伤，也会被烈火烧伤。黄浩胜连连跳脚大骂：“他妈的小日本，这是什么炮弹！”
前来追赶的“吉野”舰时速23节，比济远快8节，当两舰相距3000米时，“吉野”舰开炮轰击。方伯谦惊恐万分，下令悬挂白旗，但“吉野”舰根本没有停止攻击。黄浩胜已经来到舰尾，指挥以尾炮还击，连发四炮，三炮命中，“吉野”舰首起火进水，被迫转舵慢行。
眼看“广乙”舰被两艘日舰围困，而“济远”舰则仓皇逃走，黄浩胜跑到指挥塔，请方伯谦下令回航救援。方伯谦指着“济远”舰多处正在燃烧的火焰和被击毁的前炮台，大声道：“你靠什么救？回去不是白白送死？回到你的岗位上去，否则不要怪本管带不客气！”
“广乙”是福州船政局1890年制造的小型巡洋舰，系铁骨木皮，没有护甲，防御能力极差，所以开战后损失惨重，伤亡70多人。管带林国祥指挥“广乙”冲向“吉野”，准备实施鱼雷攻击，不幸被侧翼的“秋津洲”击中桅楼，鱼雷发射管也被击毁，连中重炮后林国祥下令降下龙旗，向东北方向撤退，驶至朝鲜十八岛搁浅。林国祥为免军舰被俘资敌，将舰上未毁的数尊大炮自行击毁，点燃火药库将舰自焚，率残卒登岸，前去寻找牙山清军。
此时，载银20万两的运饷舰“操江”号和载有士兵1220人、炮12门及来复枪等军火的“高升”号进入丰岛海战区域，他们并不知道这里中日海军已经进行了一个多小时的激烈战斗。败逃中的“济远”舰向“操江”号发出“我已开仗，尔须速回”的信号，操江舰转舵西返。但这艘1865年下水的老船航速只有9节，旧式舰炮5门，既无法快速逃命，更无力与敌舰抗衡，很快就被日舰秋津洲追上了。管带王永发将重要文件悉数焚毁，并命人将送往牙山驻军的饷银投进水中，但二十万两为数甚巨，一时间如何投得完，舰上人和饷银俱被日军所俘。
运兵船“高升”号则被浪速舰拦截。浪速号要求“高升”号听从指挥，随他们走。船长英国人高惠悌（Galsworthy）对船上的清军说抵抗无用，只要一发炮弹就可将船击沉，不如听从日军的吩咐。但船上的清军官兵都不同意，说宁愿死，决不服从日本人的命令。浪速舰6门炮一齐开火，并施放水雷，先后击中了船上的煤库和锅炉，顿时白天变成黑夜，空气中全是煤屑、碎片，有些士兵被锅炉中喷出的水蒸气活活熏死。
日本海军在丰岛袭击清军运兵船的这天，大岛义昌率领驻汉城日军四千人进军牙山，向叶志超、聂士成率领的清军发动进攻。
叶志超、聂士成两人都是李鸿章的安徽老乡，两人都是早年投身淮军，先后与捻军以及热河金丹道起义军作战，都因功赏穿黄马褂。此时，叶志超任直隶提督，聂士成任太原镇总兵。两人率军入朝后，东学党起义军就与政府讲和了，除了发了几张告示、赈济一下贫困百姓外，再无多少作为。聂士成曾经要求效法日本，带洋枪队四百人入汉城保护清廷驻朝公署，袁世凯怕惹起纠纷未准；他们又要求回国，以免日本借口寻衅，清廷未允；回国不成，又多次要求增兵，但李鸿章正寄希望于列国调停，迟迟不肯增兵。在此地毫无作为地驻扎了六十多天，直到几天前，才接到李鸿章关于速备战守的电报。
他们所驻扎的牙山县城三面环山，一面临海，不利于防守。聂士成建议由他率主力移师牙山以东的成欢驻扎，叶志超则率一千多人去成欢南部的公州城以为后路，万一战事不利，还可以绕道撤走，叶志超同意了这一计划。
聂士成率军赶往成欢，匆匆布防。成欢位于牙山东北二十公里处，北距汉城七十公里，有两条驿道纵横而过，是汉城至全州大道的必经之地，地势易守难攻。根据成欢的地形，聂士成将人马分为左右两翼防守。左翼阵地是清军防守的重点，位于成欢西北的牛歇里高地一线，构筑堡垒工事两座，配备武毅军老前营炮兵。右翼阵地以成欢东面的月峰山为依托，沿山修筑堡垒工事。他们还将成欢北面沼泽地的下流堵塞，使沼泽泛滥，水漫路面，以阻遏日军的运动。两处阵地所筑工事都很简单，不过是在山上掘土筑起胸墙，外面再乱放些树枝作为鹿砦。胸墙很薄，顶部不过五六寸厚。
7月29日凌晨，日军分两路进攻，清军右翼很薄弱，又没有大炮，堡垒先后被日军攻占。聂士成亲自带兵增援，骑马率军在阵地上冲击，日军两股部队集中火力轰击，聂部伤亡很大，清军两翼阵地都被占领。
在《日清战争记事》一书中，日本人对占领成欢作了这样的记述——
五时半，左右共六个堡垒全被我军攻占。在牙营中，缴获署有提督叶志超、副提督聂士成名字的中军大旗等大小军旗数面，大炮数门。本来文明国家以丢失军旗为最大耻辱，而中国军队是对此不介意呢，还是因情况紧急而来不及收起来呢？后来得到副提督聂士成军中日记，得知敌军丢失军旗完全是因为来不及收起来。
敌军受到攻击时，似正开始吃早餐，尚未吃完，碗、碟、筷等散乱各处，碗里的饭，吃了一半，盘里的肉汤还没有凉，锅里的米已经熟了，铁壶里的水正在开着，有炖整猪，有吃剩的黄瓜，真是狼藉不堪。敌军士兵等来韩已五十余日，似颇感无聊。帜幕里有骨牌、双陆，下层士兵似耽于赌博。在角落里有韵书，有唐诗选，大概是有文学思想的人，或在信笺上写诗，或在寿山石等印章材料上篆刻，由此可看到中国人的特点。但也有藏着镜子的，携带妇女相片的，散乱于各处，清兵的懦弱，可想而知。
聂士成一路召集残卒赶到公州，打算在这里驻守，但叶志超没有同意，认为公州不可守，最后决定绕道去平壤与大军会合。至此，朝鲜南部清军再无据点。