在他扬名数学界的同时，关于他的种种趣闻轶事也广为传播开来了。他是个世界主义者，然而，成为美国公民却是他自己作出的选择。

冯·诺依曼家里常举办持续时间很长的社交性聚会，这是远近皆知的。约翰尼(约翰的昵称)自已饮酒不多，但决非滴酒不沾的人。他偶尔也玩扑克牌，不过，打起牌来，他总是输家。

1937年冯·诺依曼与妻子离婚；1938年又与克拉拉·丹结婚。克拉拉·丹随诺依曼学习数学，后来成为优秀的程序编制家。多年后，克拉拉在一次接受记者采访谈及她丈夫时说道：“他对自己家的屋子一点儿几何头脑也没有，连个位置都搞不清楚……一次在普林斯顿，我叫他去给我取一杯水，过了一会儿他回来了，问我玻璃杯在哪里。我们在这所房子里住了17年……他从来没有用过锤子和螺丝刀，家里的事，除了修拉链以外，他一点也不做。他修拉链可以说是 手到病除 。”

冯·诺依曼决不是那种脸谱化的大学教授样子。他是个粗壮结实的男子汉，衣着整齐、讲究。自然有人说他有时是何等的心不在焉。克拉拉告诉我，一天早晨冯·诺依曼从普林斯顿的家里驱车出发到纽约赴约会，车抵新不伦瑞克时，他又打电话回来问他妻子：“我上纽约去干什么？”当然这可能不完全贴切，不过我还是想起有一天下午我开车送他回家的情形。因为那天晚上他家有一次聚会，我自己又记不清到他家的路途。于是我就问他，我下次再来时怎样辨认他的那所房子。他告诉我说：“那可容易，街边有家鸽啄食的那所房子即是我家。”

冯·诺依曼思考问题的速度真是令人敬畏。G.波列亚也承认，“约翰尼是我唯一感到害怕的学生。如果我在讲演中列出一道难题，讲演结束时，他总会手持一张潦草写就的纸片向我走来，告诉我他已把难题解出来了。”无论是抽象的求证还是运算，他做起来都是得心应手的，不过他对自己能熟练地运算还是格外感到满意和引以为豪。当他研制的电子计算机准备好进行初步调试时，有人建议计算一道涉及2的幂的计算(这道题大致是这样的：具有下列性质的最小幂是什么，当它的十进数字第四位是7时？对现在使用的计算机来说，运算这道题根本不费吹灰之力，它只需几分之一秒的时间即可取得运算结果)。计算机和约翰尼同时开始运算，约翰尼竟领先完成了运算。

一个著名的故事说到，阿伯丁检验场的一位青年科学家有一个复杂的式子需要求值。第一个特解，他花了十分钟时间，第二个特解，他用笔和纸运算了一个小时。第三个特解，他不得不求助于台式计算机，即使是用了台式计算机他还是得花上半天的功夫。当约翰尼进城时，这位青年科学家把公式递上去向他求教。约翰尼自然乐于相助。“让我们先来看看前面几个特解的情况。如果我们令n=1，我们可求得……”——他昂首凝思，喃喃而语。年轻的提问者顿时领悟到它的答案，便插嘴说，答案“是2.31吧？”约翰尼听了后不解地看了他一眼并说：“我们现在令n=2，……”他思索着，嘴唇微微启动。这位年轻人由于事先胸有成竹，当然能摸得到约翰尼的演算过程，在约翰尼就要算出答案前的一瞬间，这位青年科学家又插话了，这次他用一种迟疑的口吻说：“是7.49吗？”这次，约翰尼听了不免蹙起了眉头，他连忙接下去说：“如果令n=3，那末……”还是一如既往，约翰尼默念了片刻，青年科学家在一旁偷偷地听到了他计算的结果。还没等约翰尼运算完毕，青年科学家就喊了出来：“答数是11.06。”这下约翰尼可受不了啦。这完全不可能。他从未见过有初出茅庐之辈能胜过他的！他一时陷入了心烦意乱之中，一直到开玩笑的家伙自己向他承认事先已作过笔算以后，他才平息了心头的愠怒。