ג'ורג' הרביעי ניהל סגנון חיים מוחצן ששימש דוגמה לאופנות של "תקופת העוצרות" (Regency era). הוא היה פטרונם של צורות חדשות של פנאי וסגנון. הוא שכר את שירותיו של האדריכל ג'ון נאש כדי שיבנה את הביתן המלכותי בברייטון ושיעצב מחדש את ארמון בקינגהאם ואת שירותיו של האדריכל ג'פרי וייטוויל (Jeffry Wyattville) כדי שיבנה מחדש את טירת וינדזור. הוא תרם להקמתם של הגלריה הלאומית ושל הקולג' המלכותי בלונדון.
יחסיו עם אביו ועם אשתו, קרוליין מבראונשווייג היו מעורערים. הוא אף אסר עליה להגיע לטקס הכתרתו. הוא ניסה לשווא להעביר חוק בפרלמנט שיאפשר לו להתגרש ממנה, אך ללא הצלחה.