Jeg fandt problemet, meget, meget mystisk:
Jeg har en modulær PSU, og det viste sig at stikkene i PSU enden af PCI-E kablet ikke laver en særligt "solid" elektrisk forbindelse, jeg skildte det af og loddede ledningerne fast på printet inden i PSU'en, nu kører det klippe stabilt. :)