Der Höchsten ist mit 833 Meter ü.M. die weithin sichtbare höchste Erhebung Oberschwabens. Von hier aus hat man einen weiten Blick über den Bodensee auf das Schweizer und Österreichische Alpenpanorama. Bereits im Jahre 840 wird er in einer St. Gallener Urkunde hohida genannt.

Im Jahr 1414 schenkten die Herren von Ellerbach, ein schwäbisches Rittergeschlecht bei Ulm, zwei frommen Jungfrauen ein dort gelegenes Hofgut, die dieses in ein kleines Kloster umbauten und mit dem Patronatsrecht der Pfarrei Homberg bedachten. Ein Lehenbrief aus dem Jahr 1595 beschreibt an dieser Stelle außerdem ein kleines Wirtshaus, welches Zum Höchsten genannt wurde.

Dieses Erblehen war mit einem Marktrecht ausgestattet, so dass hier ein ständiger Markt abgehalten wurde. Das Kloster wurde im Dreißigjährigen Krieg zerstört; die Gegend war zunächst menschenleer. Um die verwaisten Lehen wieder bewirtschaften zu können, wurden Menschen aus der Schweiz und aus Tirol angeworben, die sie neu besetzten.

Die Kapelle des Klosters wurde wieder hergestellt. Dreimal jährlich kamen die Gläubigen, um eine Reliquie der Heiligen Ottilia zu verehren. 1811 wurde die baufällige Kapelle abgebrochen.
Im Jahr 1650 wurde auf dem Höchsten das „Heilige Gütl“ als „Mark- und Erblehen“ erbaut, es wechselte mehrmals den Besitzer.

Seit 1724 führte Martin Hornstein aus Illwangen dort eine Wirtschaft, weitere Wirte folgten. Die Konzession galt allerdings nur für die Bewirtung; Gäste durften hier nicht untergebracht werden. 1863 kaufte Ignaz Kleemann die Gastwirtschaft, dessen Familie sie bis heute führt.

Der hölzerne Aussichtspavillon auf dem Höchsten wurde 1854 nach einem Entwurf des Fürstenbergischen Architekten Theodor Dibold gebaut. Das benachbarte Glashütten besaß einst eine ähnliche Einwohnerzahl wie Illwangen. Ob dort tatsächlich Glas hergestellt wurde, lässt sich nicht nachweisen.