Не все верили, что Львову удастся построить такой дворец. Прежде чем дать архитектору полноценный заказ, Павел I приказал сперва построить из земли угол избы на фундаменте и под крышей — император хотел увидеть, как это будет выглядеть. Когда члены августейшей семьи приехали посмотреть на результат, Елизавета Алексеевна, супруга будущего императора Александра I, зонтиком попыталась проткнуть стену и удивилась ее крепости.
Для строительства Приоратского дворца было выбрано непростое место — между двумя озерами, на заболоченной земле. Под руководством Львова в 1798 году здесь сделали торфяную подушку и выложили участок местным камнем — так территорию полностью изолировали от воды.
Подходит ли земля для работ, определяли, сжав в руке горсть: если после разжатия пальцев земля сохраняла форму, из нее можно было строить. Ее просеивали, очищая от органики, затем слегка увлажняли и утрамбовывали двумя способами.
Первый — в формах-станках, благодаря чему получались земляные кирпичи. Их укладывали друг на друга. Второй — в щитах-опалубках, то есть конструкциях, куда землю засыпали слоями по 12-15 см, а затем уминая в два раза. Утрамбованную землю поливали известковым раствором, а после повторяли трамбовку нового слоя. У дворца два этажа. На первом толщина стен достигает примерно 95 см, на втором — около 72 см.