ה-NSA הוקם על בסיס AFSA - סוכנות הביטחון של הכוחות המזוינים, שהוקמה ב-
20 במאי 1949 כארגון של משרד ההגנה האמריקאי בפיקוד המטות המשולבים המופקד על מודיעין אלקטרוני ומודיעין אותות ותיאום מבצעי פיצוח צפנים עם יחידות צבא אחרות. אולם לסוכנות לא הייתה השפעה וכוח רב, ורק עם הקמת ה-NSA בנובמבר 1952 הלכה והתחזקה חשיבותו - הצורך בפיתוח כלים לפענוח שידורים מוצפנים היטב הפך בעצם את ה-NSA למעסיק הגדול בעולם של מתמטיקאים, ולארגון בעל המספר הגדול ביותר של מחשבי־על. הכמות העצומה של המידע שארגון זה מטפל בו הפכה אותו לארגון הביון הגדול ביותר בארצות הברית. חרף זאת, הארגון שומר על פרופיל נמוך, והוא פחות מפורסם מה־CIA (ייתכן שההבדל נובע מאופי הפעילות, ולא ממדיניות: מודיעין אנושי מושך יותר צופים). לפי הערכות, ה־NSA גדול פי 7 מה־CIA. במהלך השנים שה־NSA היה חסוי (עד לשנות ה־80 המאוחרות), ההלצה הייתה כי פירוש ראשי התיבות NSA הוא No Such Agency או Never Say Anything.