11,8V am 12V-Ausgang des Netzteils ist noch völlig OK. Laut ATX-Spezifikation sind Abweichungen von +-5% erlaubt. Bei 12V ist also alles zwischen 11,4V und 12,6V im Rahmen.

Bist du sicher, dass das Pfeiffen vom Netzteil und nicht von deiner Schaltung oder den Motoren kommt?

Manche Netzteile brauchen eine gewisse Mindestlast (insbesondere bei +5V). Manchmal ist die Mindestlast auf dem Typenschild angegeben. Ansonsten könntest du versuchen, den 5V-Ausgang des Netzteils einfach mit ca. 0.5A zu belasten (z.B. mit einem Lastwiderstand oder einer 12V-Glühbirne). Falls du ein Oszilloskop hast, dann kannst du damit prüfen, ob die Ausgangsspannung des Netzteils schwingt.