선생은 1879년 3월 평안북도 박천군에서 출생했으며, 19살 때 사촌형과 함께 미국으로 건너가 샌프란시스코에 체류하다 일본 육군사관학교의 예비학교인 성성학교(成城學校)에 입학했다.

선생은 대한제국 장교로서 노백린·이동휘 등과 함께 비밀결사단체인 효충회를 결성해 친일파 대신의 암살을 계획하는 등의 활동을 하다 1909년 대한제국 참령(소령)으로 군대를 떠났으며, 이후 서우학회와 신민회, 서북학회에 관여하는 한편, 국채보상운동에도 참여했다. 이러한 활동으로 인해 일제의 감시가 심해지자 중국 북경으로의 망명을 결심하게 된다.

이후 선생은 독립군 자금 모집을 위해 북경은 물론 국내각지에서 활동하다 1911년 8월 일제가 조작한 소위 105인 사건에 연루돼 징역 10년을 선고받고 1년 6개월간의 옥고를 치렀으며 신한혁명당, 한인사회당, 고려공산당을 창립했고, 고려군정의회를 설립해 군정위원으로 활동했다.

1931년 9월 만주사변이 발발한 후 선생은 중국관내에서 중한민중대동맹을 조직하고 임시정부에서는 국무위원으로 선임됐으며, 1940년 광복군 창설 후 참모총장으로 통수부의 막료가 돼 임시정부의 군사정책과 활동을 주관했다.

선생은 대한제국 군인·독립군·광복군을 거쳐 해방 후 통위부장으로 대한민국 국군의 기초를 마련하기까지 50여년을 군인으로 살다 1950년 6·25전쟁 때 납북돼 그해 10월 18일 평안북도 회천의 어느 농가에서 숨을 거뒀다.

정부에서는 선생의 공적을 기려 1989년 건국훈장 대통령장을 추서했다.