כמו אצילים ובני מלוכה רבים בתקופת הרנסאנס החליט גם הדוכס של בומרצו, הנסיך אורסיני (Pier Francesco Orsini) שהיה חובב אומנות ופטרונם של אומנים להקים גן. לשם כך שכר את שירותיו של האדריכל והאמן הנודע Pirro Ligorio אשר רכש לעצמו שם בכל רחבי איטליה לאחר שסיים את העבודה על הקפלה הסיסטינית בוותיקן לאחר מותו של מיכאלאנג’לו ותיכנן את המזרקות בגנים של ווילה ד’סטה שבטיבולי.
הקמת הגן החלה בשנת 1552 ונמשכה כ-30 שנה. הגן נבנה בתוך שטח מיוער עם שבילי הליכה, והוצבו בו פסלי אבן ענקיים בדמות יצורים מיתולוגיים ומפלצות.

לא ידוע מדוע בחר הנסיך אורסיני לבנות דווקא גן בעל נרטיב כה קודר וכה שונה מן הגנים שנבנו בתקופתו. על פי הסברה הסיבה הייתה רצף של אירועים קשים שעבר בחייו. הוא היה קצין בצבא במשך שנים רבות והשתתף במלחמות עקובות מדם. הוא ישב בשבי תקופה ארוכה ואף איבד את אשתו הראשונה לה בחר להקדיש את הגן.