1931年，“九一八”事變后黨派他擔任東北反日總會的領(lǐng)導工作，后又派他擔任中共哈爾濱市委第一任書記、滿洲省委委員，不久又兼滿洲省委軍委代理書記。

1932年11月，以省委代表身份被派往南滿，整頓各縣黨組織、抗日游擊隊和義勇隊，組建中國工農(nóng)紅軍第三十二軍南滿游擊隊和第三十七軍海龍游擊隊，任政治委員，創(chuàng)建了以磐石紅石砬子為中心的游擊根據(jù)地。

1933年秋，根據(jù)中共中央關(guān)于在東北建立黨領(lǐng)導下的民族抗日統(tǒng)一戰(zhàn)線的指示，以南滿游擊隊和海龍游擊隊為基礎，成立東北人民革命軍第一軍獨立師，楊靖宇任師長兼政委。

1934年2月，東北人民革命軍第1軍獨立師聯(lián)合南滿16個抗日武裝部隊召開大會，成立東北抗日聯(lián)合軍總指揮部，楊靖宇當選總指揮。同年11月，召開中共南滿第一次代表大會，成立南滿臨時特委，并正式建立東北人民革命軍第1軍，楊靖宇任軍長兼政委。1軍成立后，楊靖宇運用機動靈活的戰(zhàn)術(shù)原則，領(lǐng)導部隊挫敗敵人的秋季“討伐”，迅速擴大游擊區(qū)。中共六屆六中全會曾致電向以楊靖宇為代表的東北抗日武裝表示慰問，贊之為“冰天雪地里與敵周旋7年多的不怕困苦艱難奮斗之模范”。

1935年8月，中共滿洲省委決定，以黨領(lǐng)導的東北人民革命軍、抗日聯(lián)合軍和游擊隊為基礎，聯(lián)合其他抗日武裝成立東北抗日聯(lián)軍，楊靖宇任抗日聯(lián)軍第一軍軍長兼政委。1936年6月，抗日聯(lián)軍第一、二軍合編為抗日聯(lián)軍第一路軍，楊靖宇任總司令兼政委。

抗聯(lián)隊伍壯大后，活動在通化周圍及奉(天)(沈陽)吉(林)、安(東)(丹東)奉鐵路一帶的許多抗日隊伍都相繼加入抗聯(lián)1路軍的行列，在吉林東南部和遼東等廣大地區(qū)，給日寇以有力的打擊。日寇稱楊靖宇的部隊為“東邊道社會治安之癌”，稱抗聯(lián)活動地區(qū)為“癌腫地帶”。

1936年，日寇調(diào)來日軍奉天教導團，由關(guān)東軍南滿“討伐”司令官三木少將指揮，漢奸“東邊道剿匪司令”邵本良配合，妄圖消滅我抗日聯(lián)軍。面對敵我力量懸殊，楊靖宇率領(lǐng)抗聯(lián)部隊采取巧妙迂回戰(zhàn)術(shù)，避開敵人鋒芒，誘敵深入，消耗敵軍力量。楊靖宇令戰(zhàn)士制造倉皇敗退假象，部隊18天行軍千余里，在梨樹子一帶設下伏兵，敵人中計進入伏擊圈。楊靖宇一聲令下，打得敵人措手不及，經(jīng)過4個多小時激戰(zhàn)，殲滅了這股敵人。后來，楊靖宇率隊包圍邵本良所部，一舉殲滅了其主力部隊。

1937年，任東北抗日聯(lián)軍第一路軍總指揮兼政委，基本隊伍有六千余人，分布南滿一帶開展抗日斗爭。盧溝橋事變后，楊靖宇發(fā)動西征，經(jīng)常出擊日軍，支援關(guān)內(nèi)的斗爭。

1937年，“盧溝橋事變”爆發(fā)后，為配合全國抗戰(zhàn)，楊靖宇一面以抗聯(lián)第1路軍總司令部的名義發(fā)出《為響應中日大戰(zhàn)告發(fā)東北同胞書》和《東北抗日聯(lián)軍第1路軍總司令部布告》，揭露日本帝國主義侵吞中國的野心，號召東北各族人民團結(jié)一致，驅(qū)除日寇。同時，組織部隊在南滿的廣大地區(qū)積極開展抗日游擊戰(zhàn)，全力牽制日軍兵力，配合關(guān)內(nèi)抗戰(zhàn)。 [6]

1937年7月中旬，楊靖宇率1軍直屬部隊在西去聯(lián)絡第3師途中，襲擊鐵路線上的日軍列車，造成抗日聲勢，在離黃土崗不遠處與日軍松原部隊遭遇，激戰(zhàn)6個多小時，給敵人以重創(chuàng)。黃土崗戰(zhàn)斗后，他率隊來到清源縣沙河子同3師會面。9月初，軍部在寬甸馬鹿溝襲擊了監(jiān)修道路的偽警察隊。之后，楊靖宇指揮軍直屬部隊等300多人，同時分別攻取了興京縣第五區(qū)馬架子和小堡兩個集團部落。10月下旬，第1師等部隊奉命同楊靖宇率領(lǐng)的1軍軍部會合，于10月末打響了痛殲日軍水出守備隊的戰(zhàn)斗。同時，1路軍其他各部根據(jù)楊靖宇的指示，在興京、清原、寬甸、輯安、通化等地積極開展游擊戰(zhàn)，有力地打擊牽制了敵人。

1938年初，楊靖宇帶領(lǐng)軍直屬隊從桓仁北上到輯安縣老嶺山區(qū)開展游擊戰(zhàn)，發(fā)動了對通(化)輯(安)線鐵路老嶺隧道工程現(xiàn)場的攻襲戰(zhàn)。3月，奇襲老嶺隧道，使敵人的交通線陷入癱瘓。4月，指揮1軍教導團巧襲太平溝警察所。6月，接連兩次襲擊通輯鐵路土口子隧道工程現(xiàn)場第11、12號老嶺河橋梁子等地，燒毀了偽警察所，炸毀了隧道、橋梁工程，消滅了工地上的日軍，解救了中國勞工。