Формирование оркестра началось в 1919 году при Армейском клубе тяжелой артиллерии с целью поднятия боевого духа солдат Красной Армии. Первое выступление коллектива состоялось 15 июля на концертной эстраде в Алексеевском народном доме (сегодня это Центральный дом кино) при участии хора под управлением Ивана Юхова, который впоследствии стал Государственной академической хоровой капеллой России имени А. А. Юрлова. На тот момент коллектив, насчитывавший около 20 человек, назывался Первым московским Великорусским ансамблем. В его развитии ключевую роль сыграли выдающиеся исполнители — балалаечник-виртуоз Борис Трояновский и домрист Пётр Алексеев. В 1921 году коллектив получил статус Государственного I Московского Великорусского оркестра, а в 1930 году был принят в штат Всероссийского радиокомитета. В 1936 году оркестр переименовали в Государственный оркестр народных инструментов СССР. Под руководством Петра Алексеева коллектив вырос от небольшого ансамбля до полноценного оркестра численностью 80 человек.

В 1939 году художественным руководителем оркестра стал дирижер Большого театра Николай Голованов, а через год его сменил по рекомендации Голованова выдающийся балалаечник-виртуоз Николай Петрович Осипов (1901–1945), чье имя оркестр носит и сегодня.

Период работы Осипова пришелся на годы Великой Отечественной войны. В июне 1941 года почти все артисты коллектива ушли на фронт. Несмотря на остановку концертной деятельности в Москве и подготовку к эвакуации, Осипов убедил руководство в том, что оркестр может продолжать выступления в малом составе. Коллектив продолжил играть в ночных радиоэфирах, транслируемых фронтовикам. Осипов постоянно добивался возвращения музыкантов с фронта и тыла, чтобы восстановить полный состав оркестра, в чем ему активно помогал Голованов. Осенью 1942 года правительство постановило восстановить коллектив и присвоить ему статус Государственного русского народного оркестра.