In juni 1931 ontmoette Himmler Reinhard Heydrich. Hij was zo sterk onder de indruk van deze intelligente sterke jongeman dat hij Heydrich de opdracht gaf plannen uit te werken voor de uitbouw van een veiligheidsdienst. In augustus van datzelfde jaar stond de Sicherheitsdienst (SD) al op poten. Beide mannen trokken steeds meer de macht over het politieapparaat naar zich toe.
Eén organisatie stond de ontplooiing van de SS in de weg: de SA onder leiding van Ernst Röhm. Deze laatste maakte steeds meer aanspraak op de positie van Hitler. Naast Hitler hadden ook Himmler en Göring er baat bij om de macht van de SA te breken. Göring zag de functie van Hitler ook wel zitten en Röhm stond de toekomst van de SS in de weg.
Himmlers SS speelde dan ook een belangrijke rol in de zogenaamde Nacht der Lange Messen. Samen met de SD van Heydrich vonden zij heel wat "bewijzen" van een grootscheepse SA-samenzwering om Hitler af te zetten. Toen Hitler dit nieuws hoorde, organiseerde hij een bijeenkomst in het Hanselbauer Hotel in Wiessee. Op 29 juni 1934 kwam Hitler, vergezeld van de SS, aan in Wiessee en arresteerde Röhm persoonlijk. In de komende 24 uur werden nog eens 200 SA-officieren gearresteerd. Velen van hen werden onmiddellijk gefusilleerd. Ook niet SA-leden als Gregor Strasser, Kurt von Schleicher en generaal Ferdinand von Bredow werden vermoord. Hitler aarzelde om Röhm, toch één van zijn oude strijdmakkers, ter dood te brengen. Pas onder druk van Göring en Himmler aanvaardde Hitler dat de SA-leider moest sterven. SS-er Theodor Eicke, de latere commandant van Dachau, en SS-Stürmführer Michael Lippert schoten Röhm dood. Victor Lutze werd de nieuwe SA-leider.
Naast Hitler kwam Heinrich Himmler als grote overwinnaar uit de interne strijd. Hij werd het hoofd van de gehele Duitse politie, dus ook van de Gestapo. De politie viel niet langer onder de macht van de Minister van Binnenlandse Zaken, maar werd een machtsinstrument in handen van een trouwe volgeling van de Führer.
Onder Himmlers impuls groeide de SS uit tot een complexe organisatie. De burgerlijke Algemeine-SS vormde de hoofdtak die zich voornamelijk richtte op politieke en administratieve zaken. Daarnaast waren er de geheime staatspolitie (Gestapo) en de Sicherheitsdienst (SD). Tenslotte waren er ook de SS-Totenkopfverbände (die instonden voor de bewaking van de concentratiekampen) en de Verfügungstruppen. Deze laatste groep vormde de militaire tak van de SS en werd na de campagne in Frankrijk Waffen-SS genoemd. Reichsführer-SS Heinrich Himmler werd op die manier na Adolf Hitler de belangrijkste en meest gevreesde leider van het Derde Rijk.
