杨靖宇领导下的抗联第1路军取得的辉煌战绩，极大地刺激了日本侵略者。于是，他们调集重兵对杨靖宇所部进行攻击。1940年1月初，由于日军集中兵力持续攻击，杨靖宇率领的部队大幅减员，从2000余人急剧缩减为数百人，进而锐减到数十人。到1月10日，包括杨靖宇在内仅余12人；但日军紧追不舍，杨靖宇率领部下边战边撤，然寡不敌众，至2月15日，杨靖宇身边只剩下两名战士。虽然陷入绝境，但他决意战斗到死。由于多日战斗未能进食，而自己是日军重点通缉人物，目标太大，杨靖宇派剩下的两名战士到村子里去找粮食。但恰在此时，日军发现了杨靖宇的踪迹，追击而来。据参加追捕杨靖宇的伪通化省警务厅长岸谷隆一郎事后追述：“杨靖宇只剩一个人了。他无疑比以前更加饥肠辘辘，但是，却跑得飞快，活像一只鸵鸟在飞奔。不过，最后我们还是把他赶到了山顶上。”
虽然被围，杨靖宇利用有利地形猛烈开枪还击。这时，日本人认为杨靖宇已陷入绝境，除投降外别无生路，于是，日军派一名叫伊藤的警尉向杨靖宇喊话：“投降吧！”可是让日本人没有想到的是，杨靖宇此时已下定赴死的决心，他决定在战死前利用有限的子弹尽可能多地消灭敌人，于是，他向劝降的日本人回答道：“我投降，别开枪了！投降之前我有话说，你一个人过来！”“好！我现在就去！”当日本人伊藤站起来的刹那间，杨靖宇连开三枪，正中伊藤胸部将其击毙。伊藤被击毙，日军恼羞成怒，他们也终于明白杨靖宇不可能投降。于是，日军火力齐开，罪恶的子弹如雨点一样向杨靖宇藏身之处射来。虽然日军依仗人众枪多击中了杨靖宇的左手，看起来占据了上风，但杨靖宇冷静观察，依然找到日军包围圈的缺口突围而出，并利用山高林密的环境甩掉了日军。
2月18日，在蒙江县城以东6公里的大东沟，杨靖宇派出找粮食的两名战士被日军发现并杀害，杨靖宇完全陷入孤军作战的绝境。为了彻底断绝杨靖宇的食物来源，日军讨伐队严禁附近进山砍柴的村民携带干粮。到了2月23日，日军根据情报进一步确定了杨靖宇的藏身之所。于是，一支由19人组成的日军小分队乘卡车急速出发赶到杨靖宇藏身地附近，他们发现了杨靖宇在雪地上留下的足迹，遂循迹登山追赶。
日军分成两组，一组从山顶、另一组从半山腰向隐身于岩石裂缝中的杨靖宇开枪射击。由于多日未进食，杨靖宇的体力此时已极度透支难以奔跑，但他依然利用山坡的倾斜向山脚滚动而去，并在滚落到山脚后利用地势的掩护重新向日军射击。日军此时气急败坏，他们利用人数众多并占据山顶制高点的优势，向杨靖宇隐蔽处迂回包抄，并最终逼近到相距仅20米处，然后，日军两股火力一齐向杨靖宇猛烈射击。10分钟后，杨靖宇中枪倒地牺牲。参加了与杨靖宇最后一战的伪通化省警务厅警尉补益子理雄事后回忆说：“我拼命地高喊：‘打死了！前进！’当我们跑上前看时，眼前是一个身中数弹的大汉仰面朝天地躺在地上，根据我掌握的杨的体貌特征，我感到这就是杨靖宇。经过原来杨的部下的辨认，这确确实实是杨靖宇将军。”
确认身亡者为杨靖宇之后，日军讨伐队围在遗体周围，这时他们才有机会一睹杨靖宇真正的容颜。他们完全难以想象这个曾经驰骋于白山黑水给日军以沉重打击的抗联首领，居然身着不堪穿用的破衣烂衫，而随身携带的抗联部队经费6660余元却整整齐齐保存完好。此情此景，日军一时竟茫然不知所措。据日本随军记者写的《阵中日记》记载，杨靖宇牺牲后，参与追剿行动的日本警佐西谷长时间不敢靠前，甚至于不敢相信自己打死了威震东北、大名鼎鼎的杨靖宇；当最终确认是杨靖宇时，西谷不但没有表现出丝毫的兴奋，反而大哭起来。
日军将杨靖宇的遗体运到县城后，残忍地将其头颅用铡刀铡下运往通化省城示众。但有一点日军始终百思不得其解，那就是杨靖宇为什么在食物断绝的情况下坚持战斗如此之久。为解开这一长久困扰他们的谜团，日军命令蒙江县城民众医院的医生对杨靖宇的遗体进行解剖，想看看他的胃肠里到底有什么，他到底是靠什么支撑下来的。但解剖的结果令所有人大吃一惊，杨靖宇的胃肠里没有一粒粮食，有的只是难以消化棉絮与树皮。
这深深地震慑了日军，他们没有想到中国竟有杨靖宇这般威武不屈的军人。为表达对杨靖宇的敬畏之情，日军找来蒙江县城最有名的木匠，用上等木料雕刻杨靖宇的头颅安放于遗体之上，将杨靖宇葬于蒙江县保安村北门外的山岗上。下葬之日，伪通化省警务厅长岸谷隆一郎亲自主祭，以日本风俗举行安葬仪式，并立墓碑一块，正面大书“杨靖宇之墓”，背面署“岸谷隆一郎，康德七年三月五日立”。
杨靖宇的事迹，给岸谷隆一郎带来了重大的刺激，“一天之内，苍老了许多”。此后，他穷尽毕生精力钻研探究中国抗日将士的心理，并对日本在华罪行产生深深的自责。最终，岸谷隆一郎不堪内心之折磨，毒死妻子和儿女，剖腹自杀。在遗嘱中他写道：“天皇陛下发动这次侵华战争或许是不合适的。中国拥有像杨靖宇这样的铁血军人，一定不会亡国。”可以说，这是敌人给予杨靖宇最高的评价，这是敌人对侵略战争最深刻的反省。
杨靖宇牺牲时年仅35岁，他十几年的时间都处在紧张的工作与战斗中，连回家看看的片刻机会也没有，他把一生都献给了伟大祖国的民族解放斗争。他在抗联乃至中国革命史有着重要的地位，他是抗联唯一的中华苏维埃共和国中央执行委员、抗联唯一的中共“七大”准备委员会委员、抗联唯一被党中央致敬电点名表彰的领导人，他是在牺牲后当选且唯一与毛泽东、朱德并列当选东方各民族反法西斯大会名誉主席团委员的中共党员，他是新中国成立后唯一享有政治局委员和元帅规格葬仪的革命先烈。杨靖宇牺牲了，但他不惧强敌战斗至死的英勇事迹激励着一代又一代的中国人，在中国革命史上留下了浓墨重彩的一页。
