Skąd taka, jakby nie patrzeć, dziwna nazwa dla położonego w lesie pałacu? Według pierwszej wersji, budowniczy Bagateli, teść lub szwagier Michała Biernackiego, pierwszego jej właściciela, miał uważać, że wzniesienie nowego domu dla młodożeńców to przedsięwzięcie bagatelne. Druga wersja ma nawiązywać natomiast do słów późniejszego dziedzica Bagateli księcia Władysława Radziwiłła. Ten znany z zamiłowania do polowań i hazardu magnat po zastawieniu w karty własnego dworu, miał tłumaczyć się nonszalancko, że „Pałac to przecież bagatela”.