König Maximilian II. fasste die Insel Wörth schon 1840 ins Auge, als er einen Platz für das Maximilianeum suchte, das dann aber in München gebaut wurde. Zwei Jahre nach seiner Krönung (1848) erwarb er die Insel von der Fischerfamilie Kuglmüller und ließ sich vom Architekten Franz Jakob Kreuter einen Plan für die „Landesverschönerung“ des gesamten Ufers am Starnberger See erstellen. 1851 erhielt Kreuter den Auftrag zum Bau des Casinos.
Kreuter übernahm in dem Entwurf des Casinos wesentliche Gestaltungsmerkmale der „römischen Bäder“ im Schlosspark von Charlottenhof in Potsdam. Während sich diese eng am Vorbild italienischer Landhäuser orientierten, versuchte Kreuter die alpenländische Holzarchitektur mit zu integrieren. Das von Kreuter geschaffene Casino ist eine Synthese aus der ländlichen oberitalienischen Villa all’italiana und dem „national-bayerischen“ Gebirgshaus.
Die Bezeichnung „Casino“ erklärt die Funktion des Gebäudes als saisonal genutztes Sommerhaus. Darauf ist die Gestaltung der Räume im Casino abgestimmt. Im Erdgeschoss befindet sich ein großer Gartensaal, ein Nebenzimmer und eine Küche. Es gibt kein Vestibüll, man tritt direkt in den Salon. Die zahlreichen großen Flügeltüren und -fenster öffnen die Räume zum Park.
Im Obergeschoss liegen das Schlafzimmer des Königs und der Hauptraum des Casinos: der große Salon. Vom Südbalkon des Casinos blickt man auf die Alpenkette. Das Alpenpanorama wurde zusammen mit dem See zum Leitmotiv der Anlage. Der Turm, vom Hauptbaukörper seitlich abgerückt und durch einen schmalen Gang verbunden, besitzt nur ein kleines Belvederezimmer.
Auch in der Innendekoration suchte Kreuter die Verbindung von Neuzeit und Antike, von Bayern und Italien. Die Wände in den beiden Salons sind holzvertäfelt. Kreuters Idee war es, pompejanische Architektur nicht nur an die Wände zu malen, sondern zu „bauen“. Die überlängten, zartgliedrigen Säulen, auf denen spitzgiebige Baldachine aufliegen, wurden nicht flach auf die Wand gemalt, sondern treten plastisch zwischen die Fresken hervor. Die pompejanischen Freskomalereien wurden von Johann von Schraudolph ausgeführt.
Leider war König Maximilian II. ein sehr wankelmütiger Bauherr, der noch während der Ausführung häufiger Planabänderungen verlangte und trotzdem auf Einhaltung der Kostenvoranschläge bestand. Der daraus resultierende Streit um die Abrechnung der Baukosten führte zum Bruch zwischen Bauherr und Architekt und machte Kreuter zu Lebzeiten zu einer Persona non grata in Bayern. Sein Casino auf der Roseninsel hingegen avancierte zum Prototyp einer Landhausvilla am Starnberger See, die zahlreiche Nachfolgebauten fand.
Nach intensiven Planungen wurde 1998 mit den Sanierungs- und Restaurierungsarbeiten am Casino begonnen. Handwerker und Restauratoren sorgten für die Sicherung der Fundamente und erneuerten die Holzbalkone sowie die östliche Terrassenanlage. 2003 – zum 150-jährigen Geburtstag der Roseninsel – waren die Arbeiten abgeschlossen und das Casino konnte wiedereröffnet werden. Von Frühling bis Herbst ist es der Öffentlichkeit zugänglich.