冯德麟，原名玉琪，又名麟阁，字阁忱，清同治七年1868年出生于辽宁省海城市温香乡达连村万里壕。
17岁就投身海城乡勇、绿林的冯麟阁经过数年的闯荡，已经将公正侠勇之名散播开来，辽西辽南各地的百姓都称其为“团总“。而且冯麟阁出道早、团伙大、占地广、讲义气，已经确定了绿林和乡勇界前辈的地位。张作霖最初与冯麟阁交往时，就对他充满了崇敬之情。比张作霖大9岁的冯麟阁经常到张作霖所在的大车店入住，他见张作霖为人机灵、讨人喜欢，曾给他讲过不少绿林好汉的故事。
1894年中日甲午战争时，张作霖应募投清朝宋庆毅军，清军败后，宋庆部队撤回关里，张作霖也从部队脱离回到家中。可是重操旧业后他不得不面对贫困窘迫的生活，最后不得不投奔曾经给过他许多幻想的冯麟阁。后来，冯麟阁把他安排在手下董大虎的手下。虽然张作霖并没有在董大虎手下太久，但与冯的交情却从此开始。在甲午战争和庚子之乱之间，东北几乎没有正式军队，一些地方乡绅为了保护老百姓的安宁，联名请示政府，申请招抚绿林豪客，成立辽河南路两岸招抚局。当时被推举为总练长的就是“年力精壮、性情侠迈“的冯麟阁。
冯德麟早年曾在县衙充当衙役，因与绿林交往被解职。中日甲午战争后，1900年爆发义和团运动，沙俄借机入侵我国东北，冯德麟趁社会动荡不安、土匪蜂起之机，在辽阳界的高家坨子拉起“大团“，声称“保境安民“。因其抗击俄军，很得民心，队伍由百余人发展到数百人，声势浩大。控制了辽河两岸地区。
1901年被俄军逮捕流放，后乘敌不备逃归。1904年日俄战争爆发，冯德麟率部参加日本人招募的“东亚义勇军“，成为日本的别动队，队伍发展到数千人，不断袭击俄国军队。1904年，东北大地又迎来除了甲午战争、沙俄出兵镇压义和团运动之外的第三次浩劫--日俄战争。这三年中，冯麟阁参加的仅针对俄国的大小战役就有32起，特别在辽阳首山战役。
战后，日本特奖赏他“宝星勋章“，并向清廷保荐他和他的队伍可以为清廷所用。
1906年，冯德麟被清廷招抚，任巡防营统带、后充任巡防营左路统领。辛亥革命后，袁世凯任总统，成立陆军，将奉天巡防营改编为二十七师和二十八师，冯德麟被委任为二十八师师长。