Naceu en Budapest. Foi moi bo estudiante doutorándose en Matemáticas pola universidade de Budapest e en Químicas pola universidade de Zurich. En 1927 comezou a dar clases na universidade de Berlín ata que, en 1932, acabou escapando da Alemaña nazi para refuxiarse nos Estados Unidos. Durante a II Guerra Mundial traballou no Proxecto Manhattan, o proxecto que desenvolvería a bomba atómica. Tamén colaborou na construcción do ENIAC. Nos anos 50 foi asesor científico do Consello de Seguridade dos Estados Unidos xogando un papel moi importante no deseño da guerra fría.
Von Neumann realizou moitas aportacións científicas de fondo calado: teoría de xogos, teoría dos autómatas, cálculo da propagación das ondas de choque, estudio sobre a matemática da teoría cuántica, etc. Pero a súa contribución máis importante á historia da computación foi o desenvolvemento da chamada Arquitectura de von Neumann, un modelo de deseño que diferencia dúas partes nun ordenador: a Unidade Central de Procesamento ou CPU , e a memoria. Esta arquitectura foi adaptada por todos os ordenadores feitos despois da Segunda Guerra Mundial.
O 2 de agosto de 1939 Albert Einstein escribiu unha carta ó entón presidente dos Estados Unidos, Franklin Delano Roosevelt, advertíndolle acerca dos esforzos que estaba a facer a Alemaña nazi no desenvolvemento da bomba atómica. Pouco despois desta carta de Einstein, Roosevelt tomou en serio o que se coñece como Proxecto Manhattan, proxecto que acabaría desenvolvendo a bomba atómica para os Estados Unidos. No proxecto traballaron algunhas das mentes máis sobresaíntes do momento, entre as que se atopaba von Neumann.

O Proxecto Manhattan desenvolveuse entre 1939 e 1945 e supuxo unha inversión de máis de 2.000 millóns de dólares por parte do goberno dos Estados Unidos. O 16 de xullo de 1945 fíxose en Novo México o primeiro lanzamento dunha bomba atómica. Comezaba a era atómica. No verán dese ano lanzáronse as bombas sobre Hiroshima e Nagasaki. Von Neumann que traballara durante anos no Proxecto Manhattan, morrería de cancro 12 anos despois, en 1957, en Washington D.C.