Wie verlässlich ist KI bei Baufragen? So testen wir den Bauly Assistenten

Wer einer KI eine Baufrage stellt, bekommt fast immer eine flüssige, gut formulierte Antwort. Genau das ist das Problem: Ein Text kann überzeugend klingen und trotzdem falsch sein. Eine erfundene Frist, ein Grenzabstand aus dem falschen Kanton. Beim Bauen kostet ein solcher Fehler schnell Geld, Zeit oder eine Bewilligung. Hier erklären wir, wie wir den Bauly Assistenten prüfen, was herauskommt und was die Zahlen bedeuten. Und was nicht.

Was wir prüfen

Der Bauly Assistent ist ein KI-Chat fürs Schweizer Bauumfeld, für private Bauherrschaften und Fachpersonen. Er antwortet mit Quellenangaben aus einer kuratierten Wissensbasis: Bundesrecht, die Baugesetze aller 26 Kantone, kommunale Baureglemente, VKF-Brandschutzvorschriften und eigene Erklärtexte. Private Normtexte wie die SIA-Normen werden erklärt, aber nicht zitiert. Ob diese Antworten stimmen, prüfen wir mit einem festen Katalog von 176 Prüffragen, den wir Prüfstand nennen. Den Kern bilden 135 Fachfragen aus vier Wissensbereichen:

• Bau-Prozesslogik
• Schweizer Recht und Normen
• Erfahrungswissen aus der Baupraxis
• Grundlagenwissen

Diese 135 Fragen verteilen sich auf 27 Themen, je drei alltägliche und zwei schwierige pro Thema. Dazu kommen 41 Zusatzfälle, die nicht das Fachwissen prüfen, sondern das Verhalten: Rechenaufgaben, Manipulationsversuche über Fragen oder hochgeladene Dokumente, Themen ausserhalb des Bauens und Situationen, in denen der Assistent an eine Fachperson übergeben sollte. Jede Frage trägt vorab eine Prüfzeile: den erwarteten Kern der Antwort, formuliert bevor der Assistent sie sieht. Die Fragen sind redaktionell erstellt, nicht aus Nutzergesprächen entnommen.

Wie bewertet wird

Die Bewertung übernimmt ein automatischer Richter: ein zweites, leistungsfähigeres KI-Modell, das an der Antwort nicht beteiligt war. Er vergleicht die Antwort mit der Prüfzeile und liest die zitierten Quellen mit: Stützt die Quelle die Aussage tatsächlich? Bewertet wird in drei Stufen: vollständig richtig gibt 2 Punkte, teilweise richtig 1 Punkt, falsch 0 Punkte. Der Korrektheitswert ist der Anteil der erreichten an den möglichen Punkten auf einer Skala von 0 bis 100: 96 vollständig und 35 teilweise richtige Antworten von 135 ergeben 227 von 270 Punkten, also 84.1.

Zur Einordnung: Das ist eine automatisierte Eigenprüfung, kein unabhängiges Audit. Fragen und Prüfzeilen stammen von uns, der Richter ist ebenfalls ein KI-Modell.

Die Ergebnisse

Stand 11. September 2026, Version 58, über die 135 Fachfragen: Die Korrektheit liegt bei 84.1 von 100 Punkten. 71.1 % der Antworten waren vollständig richtig, 25.9 % teilweise, 3 % enthielten fachliche Fehler, das sind 4 von 135. Die 41 Zusatzfälle weisen wir separat aus: 6 von 6 Rechenaufgaben richtig gelöst, 11 von 12 Manipulationsversuche abgewehrt, 4 von 4 Themen ausserhalb des Bauens erkannt. Eine erwartete Übergabe an eine Fachperson hat er in 5 von 6 Fällen erkannt, unnötig übergeben nie. Nach Wissensbereich:

• Bau-Prozesslogik: 84.3 von 100 (35 Fragen)
• Erfahrungswissen aus der Baupraxis: 85 von 100 (30 Fragen)
• Grundlagenwissen: 86.7 von 100 (30 Fragen)
• Schweizer Recht und Normen: 81.2 von 100 (40 Fragen)

Recht und Normen ist der schwächste Bereich, was uns nicht überrascht: Hier hängen Antworten oft am Kanton, an der Gemeinde oder an der Fassung eines Erlasses, und eine allgemein formulierte Antwort ist schnell nur teilweise richtig. Für dich heisst das: Bei rechtlichen Fragen ist der Blick in die zitierte Quelle besonders wichtig.

Woran der Assistent scheitert

Die Prüfung zeigt nicht nur, wie viele Antworten daneben liegen, sondern auch, auf welche Art. Vier Muster kehren wieder (Beispiele vereinfacht):

• Unvollständige Antworten: Was gesagt wird, stimmt, aber ein Teil der Prüfzeile fehlt. Etwa eine Frist, ohne zu sagen, ab wann sie läuft.
• Quellenangabe passt nicht: Die Aussage ist richtig, die zitierte Stelle belegt sie aber nicht.
• Kantonale Angabe ohne Kanton: Der Assistent nennt einen Wert, der nur in einem Kanton gilt, ohne das zu sagen.
• Seltener: eine falsche Zahl. Ein belegter Fall aus Version 31: 5 m statt 5 m² als zulässige Grundfläche eines Gartenhäuschens.

Die ersten drei erkennst du selbst, wenn du die Quellen aufklappst und deinen Kanton nennst. Die falsche Zahl ist tückischer, weil sie genauso sicher formuliert ist wie eine richtige. Darum ist die Fehlerquote von 3 % (4 von 135 Fachfragen, Version 58) für uns vor allem eines: der Hinweis, dass Nachfragen sich lohnt.

Was wir daraus geändert haben

Der Prüfstand ist ein Werkzeug, um Schwächen zu finden. Der Stand von Ende August 2026 (Version 27) lag auf denselben 135 Fachfragen bei 72.2 von 100 Punkten: 57.8 % vollständig richtig, 13.3 % mit Fehlern, und nur 4 von 6 Rechenaufgaben richtig gelöst. Daraus haben wir vier Änderungen abgeleitet:

• Der Assistent rechnet mit den Angaben, die du ihm gibst. Hochgeladene Dokumente behandelt er als Inhalt, nicht als Anweisung.
• Quellenangaben, die die Aussage nicht stützen, werden vor der Antwort entfernt. Lieber eine Quelle weniger als eine, die nicht passt.
• Unsere eigenen Erklärtexte sind als Belege zitierbar. So siehst du auch bei Grundlagenfragen, worauf sich eine Aussage stützt.
• Bei kantonalen Fragen fragt der Assistent gezielt nach deinem Kanton, statt alle Kantone aufzuzählen.

So sank der Anteil der Antworten mit Fehlern von 13.3 % auf 3 % (Version 27 zu 58, dieselben 135 Fachfragen). Wir prüfen nach jeder grösseren Änderung und mindestens monatlich; die aktuellen Ergebnisse stehen mit Datum und Fallzahl auf unserer Prüfstand-Seite.

Was die Zahlen nicht heissen

84.1 von 100 Punkten (Version 58, 135 Fachfragen) klingt nach einer Note. Es ist ein Messwert unter Bedingungen, die du kennen solltest.

• Eigenprüfung: Fragen, Prüfzeilen und Richter stammen von uns. Eine externe Stelle hat die Ergebnisse nicht bestätigt.
• Selbst geschriebene Fragen: Der Katalog deckt 27 Themen ab. Deine Frage kann anders formuliert sein oder einen Sonderfall betreffen, den wir nicht bedacht haben.
• Der Richter ist selbst eine KI. Auch er kann eine Antwort falsch einstufen.
• Ein Messwert ist keine Zusicherung für eine einzelne Antwort. So steht es auch in unseren AGB, Ziffer 3.

Der Assistent gibt allgemeine Information, keine Beratung im Einzelfall. Sobald es verbindlich wird, soll er dich an eine Fachperson verweisen; auch das prüfen wir, und auch das klappt nicht in jedem Fall. Die Methode hinter den Zahlen ist im Impressum beschrieben.

Wie du selbst prüfen kannst

Du musst unserer Zahl nicht glauben. Jede Antwort lässt sich gegenprüfen.

• Quellen aufklappen: Wo der Assistent Quellen angibt, kannst du sie unter der Antwort aufklappen. Lies nach, ob die Quelle sagt, was er behauptet; wenn nicht, ist das ein Warnsignal.
• Kanton angeben: Viele Bauvorschriften sind kantonal oder kommunal. Nenne deinen Kanton und deine Gemeinde in der Frage.
• Deep-Check nutzen: Mit Assistent Plus kannst du eine Antwort 30 Mal pro Monat von einem stärkeren KI-Modell nachprüfen lassen. Das ist eine zweite Meinung, keine Garantie: In unserer Prüfung half das vor allem bei kantonalen Fragen und dichten Normantworten; ein Teil der Antworten wurde besser, ein kleinerer Teil auch schlechter (Version 31).
• Bei Verbindlichem eine Fachperson: Kostet eine Entscheidung Geld oder bindet sie rechtlich, gehört die Antwort in die Hände einer Fachperson. Der Assistent gibt Orientierung, die Fachperson entscheidet.