Für .de Domains stellt die Denic einen Konverter zur Verfügung.
www.denic.de/domains/allgemeine-informationen/idn-konvertierung.html
Tragen Sie dort die Umlautdomain ein und konvertieren Sie die Daten.
Lautet Ihre Domain als IDN beispielsweise umlautdomäne.de, heißt der ACE-String
xn--umlautdomne-t8a.de, bzw. www.xn--umlautdomne-t8a.de
Dieses Ergebnis tragen Sie dann als Domain in TYPO3 ein. Rufen Sie nun umlautdomäne.de im Frontend auf, wird der Domainname mit Umlaut angegeben.