Агван Лобсан Доржиев родился в 1853 году в улусе Хара-Шибирь — сегодня это Заиграевский район Бурятии. О его рождении сохранилась легенда, которую передают бурятские ламы: отец Доржиева был богатым, но бездетным человеком. Чтобы обрести наследника, он отправился в паломничество в Монголию к главе монгольских буддистов — Богдо-гэгэну. Там мужчина услышал пророчество: по возвращении на родину он обретет сына, но, когда придет время, должен будет отпустить его, чтобы юноша посвятил себя духовному пути.
Мальчиком Агвана отдали в хувараки, то есть послушники, в Ацагатский дацан, где он учился грамоте. В будущем, кроме родного бурятского, а также монгольского и тибетского языков, он овладеет еще четырьмя: калмыцким, маньчжурским, китайским и русским. В 1921 году он даже напишет автобиографию на монгольском языке в стихах — в одном из переводов она называется «"Предание о кругосветном путешествии", или Повествование о жизни Агвана Доржиева».