但再光火也没辙，毕竟平家虽说已经折损大半，可还依然在那里喘气，若是斩草不除根的话，指不定哪天春风一吹就又生了。所以源赖朝果断决定，先解决源平两家之间的敌我矛盾，再来慢慢和义经算这笔账。
治承八年（1184）秋，忌惮源义经的赖朝只派了源范赖前去征讨平家，结果赖范的作战意图被敌方看破，后路被断粮草被劫，窝在那里动弹不得。无奈之下，源赖朝唯有命令源义经前去救援。双方在屋岛（香川县内）展开了水战，战斗中弓矢齐飞。平氏军中号称第一射手的平教经向源义经放了一记冷箭，义经四天王之一的佐藤继信策马奔前以身挡箭，强箭穿甲，当场将其射杀。
哭过之后的源义经就暴走了，下令全军强攻，双方死磕了一整天后，平氏终于抵挡不住，再加之收到了源家援军很快要来的情报，所以不得已撤出了阵地，至此，濑户内海落入了源家手中，而平氏，从此陷入了山穷水尽的局面。
治承九年（1185）三月下旬，源赖朝下令对平家发起最后的总攻，在关门海峡的坛之浦开战，源义经下令召集所有弓箭手射杀对方的舵手和水手。以至于平家军纵然有坚船利炮却也只能是水里的乌龟。
开打不过半日，平家就几乎全军覆没，平氏诸将纷纷跳海自尽，当主平宗盛以及其妻儿也被义经活捉，并准备送入镰仓。
然而，押解队伍行至镰仓不远处，源赖朝来了一封亲笔信，信上说，只需将平家俘虏送进城里就行，至于源义经，现在就能自由活动了，不必进城。
功高盖主的义经因为种种不着调的行为让赖朝倍感头疼，而义经本人也因兄长的猜忌感到心痛不已，所以他当下也回了一封信过去，表示自己刚生出来就惨遭平家迫害，忐忐忑忑地活在世上，却始终不敢忘却家仇，幸得今日老天开眼，灭了平家，欢欣雀跃还来不及呢，怎么可能还有其他非分之想？请哥哥无论如何也要相信我一次，我是绝对没有二心的。
源赖朝表示不信。源义经一气之下，当场就来了句：“关东积怨之辈可从义经！”
就是说但凡心怀不满的，就跟我来。
来干什么？他没说，其实他也没打算干什么，这纯粹就是一句牢骚，但话传到赖朝耳朵里后却变成了义经有谋反之心的意思。
这年9月，源赖朝为刺探源义经，遣梶原景季前往京都，封源义经为伊予守并要求其发兵征讨曾追随木曾义仲的叔父源行家。
结果义经很不识相地以同为源家不忍加害为由拒绝了。
就此，源赖朝决定除掉这个弟弟。
10月，一个叫土佐坊昌俊的人率领六十余骑突袭堀川御所。源义经提刀应战，双方一阵互殴之后，昌俊兵败被俘，之后不等大刑伺候便招供出了幕后主使：源赖朝。同时他还表示，更多的军队还在后头呢。
事已至此，义经只能走上绝路了，当晚，他带着六十多人从京都出走，一路上尝尽疾苦隐姓埋名，还因路途艰辛不得不把一怀孕的小老婆给丢在了半道儿上以减轻负担，跋山涉水好几个月，终于在文治三年（1187）二月到达了奥州藤原秀衡处。
顺便一说，那个被丢下的小老婆叫静御前，倒也不是源义经忘恩负义，只是当时这姑娘挺着个大肚子，实在不方便搞逃亡活动，再加上义经觉得源赖朝再怎样也算是个武士，就算不是武士那好歹也算是男人，应该还不至于到对孕妇下手的不要脸地步，所以就把静御前一个人留了下来，还给安排了几个仆人照顾。
没想到义经他们前脚走，这帮仆人后脚就把静御前身边的财物给抢了个精光然后跑路，不得已之下，姑娘只能沿途下山找人收留，在山腰碰到了奉命搜山的赖朝士兵，就这么被抓了个正着，随后立刻被解往镰仓。
源赖朝倒也的确像个男人，在见过静御前之后，便下令给她安排妥当的住所，然后叫了几个丫鬟随身服侍，每天给好吃的安胎。
还没等静御前谢恩，源赖朝就表示，别忙，这不是白给的：“我可以留你性命，但你腹中的孩子却必须交予我处置。”
不等问对方如何处置，他又说道：“若是女孩，那么送入尼姑庵出家，若是男孩的话…我不能给义经留种。”
非常不幸的是，这一年闰七月二十九日，静御前生下了一个男孩。早已在屋外守候着的士兵，一等孩子落地，问完性别之后便从产妇手里将其一把夺了过去。静御前不顾大产过后，硬撑着支起了身子，拉住了那个士兵的衣角：“能让我看一眼么？”
或许是同为人母所生，那个叫安达清常的士兵动了恻隐之心，弯腰将手里还在不断哭喊着的孩子放到了静御前的跟前，但没有松手：“你看吧。”
母亲看着孩子，一句话也没说，只是轻轻地用手抚摸了一下他的脸蛋。
安达清常直起了身子：“行了，我要走了。”
说完，抱着孩子便出了门。
走了大概三四步，他的身后传来了一阵撕心裂肺的哭叫声。
这个连名字都没来得及起的男孩当天就被丢入了由比之浜，沉入了水中活活淹死。
再说义经那伙人在抵达了奥州之后便受到了藤原衡秀的热烈招待，尽管源赖朝密令他交出义经一行，但老爷子态度相当强硬，表示你源赖朝逼得紧也不怕你，爷就是倾奥州之力，也要保住源义经。
源赖朝没辙，只能暂且作罢，那个时候他刚刚开创镰仓幕府，正是百废待兴和谐最重的时候，所以也不愿意为了个源义经大兴刀兵。
就这样，源义经总算是有了个落脚的地儿，开始安下心来过日子了。
然而，天有不测风云，长年来一直把义经当亲生儿子罩着的藤原衡秀在这一年的10月因病医治无效，离开了人世，在死前，他叮嘱自己的三个儿子藤原泰衡、国衡和忠衡一定不能向镰仓幕府妥协，不仅不能抛弃源义经，还得把他当主子来供奉。
看着儿子们含着眼泪点头答应，藤原衡秀便很放心地撒手人寰了。
然而，事情的发展并没有如衡秀想的那样，他死后半年不到，文治四年（1188）二月，后白河法皇派遣钦差前往平泉传达征讨源义经的旨意。虽然藤原一族非常坚决地抗旨不尊，但由于参谋藤原基成（藤原泰衡的外公）为公卿贵族之后，素与朝中公卿相善，因此朝廷方面仍有不少公卿庇护藤原氏。
10月12日，源赖朝一看软的不行便来了一手硬的，遣使警告藤原一族若不征讨源义经则将获罪株连，而且幕府方面也已准备自行发兵伐罪。
文治五年（1189）二月，在源赖朝的授意下，后白河法皇下旨免除了一批藤原氏族亲的官位，并且向奥州藤原家下达了最后通牒：若是不跟随镰仓幕府一起铲除源义经，那么从即刻起你们便是朝敌国贼，全天下共讨的对象。
已经被各种压力折磨得快要得抑郁症了的藤原家当主藤原泰衡为了挽救逐渐陷入孤立无援的藤原一族，终于决定讨伐源义经。
闰4月30日清晨，泰衡命家臣长崎太郎率五百骑兵突袭驻居高馆（又称衣川馆）的源义经。源义经家臣们发现后迅速迎战：弁庆、伊势三郎、增尾十郎、片冈八郎、铃木三郎、龟井六郎、鹫尾三郎、备前平四郎等8人固守玄关大门，喜三太爬上屋顶，以窗板为盾，拉弓搭箭狙杀敌军。源义经则以战死于藤原泰衡的家臣手下为耻，不愿出战，独自进入佛堂中诵经，做自尽前的准备。源义经的家臣们为了保护主君能平静赴死，抱着必死的觉悟，舍命决战，各自斩杀多人后壮烈战死或自刃。