Der Ort Illmensee wurde zum ersten Mal 1275 im Zusammenhang mit der Besoldung des Pfarrers erwähnt. Im Lauf der Geschichte gehörte er verschiedenen Herrschaften, unter anderem Hans von Hornstein zu Schatzburg und Agnes von Neuenegg, die „das Dorf Illmensee, Gericht, Zwang, Leut und Güter samt dem Vogtrecht“ kauften, womit ihnen nicht nur das Gebiet, sondern auch seine leibeigenen Bewohner gehörten.

Von 1387 bis 1802 gehörte das Dorf mit Unterbrechungen dem Pfullendorfer Heilig-Geist-Spital. Das Spital wurde erstmals 1257 in einem Lehensbrief erwähnt. Seine Aufgabe bestand darin, Arme und Kranke zu versorgen. Die Illmenseer Bauern waren ihm zehntpflichtig. Der See selbst gehörte teils dem Kloster Salem, teils den Fürsten zu Fürstenberg, die als einzige das Recht hatten, dort Fische zu fangen: Der Dorfbevölkerung war das Fischen nicht erlaubt.

Als während des Dreißigjährigen Krieges (1618-1648) der Einfall der Schweden drohte, brachten die Illmenseer ihre Glocke in Sicherheit, indem sie sie im See versenkten. Nach dem Ende des Krieges ließ sie sich nicht mehr finden. An diese Begebenheit erinnert eine Skulptur des Kunstschmieds Peter Klink an der Zufahrt zum See.

Im Jahr 1824 kam es zu einer Neuordnung der Pfarrgemeinden durch die Badische Verwaltung: Die Bürgerinnen und Bürger von Ruschweiler, Illwangen und Krumbach sollten fortan der Illmenseer Gemeinde angehören. Die kleine baufällige Kirche von 1404 bot zu wenig Platz für die stark angewachsene Gemeinde. Sie wurde abgerissen und durch die erst 1859 fertig gestellte Pfarrkirche Mariä Himmelfahrt ersetzt. Einzig der Turm blieb erhalten und wurde mit einem oktogonalen Aufsatz ergänzt.

Nach der Schneeschmelze oder Unwettern trat der Illmensee immer wieder weit über seine Ufer und überschwemmte Viehweiden und Ackerland. Seit Beginn des 19. Jahrhunderts gab es Bestrebungen, den Wasserspiegel zu senken. Das gelang erst in den 1930er Jahren im Rahmen einer Arbeitsbeschaffungsmaßnahme: Der Andelsbach wurde begradigt und tiefergelegt, der Wasserspiegel sank um 1,30 Meter.