Convoqué le 15 juillet 1941 par l’intendant de Police de Marseille, Rodellec du Porzic, Varian Fry est expulsé le 29 août pour avoir, lui dit-on, protégé « trop de juifs et d’anti-nazis ».
A partir de novembre 1941, il est à New York où il publie notamment un article retentissant intitulé "Le massacre des Juifs" dans The New Republic. Il fait des conférences pour sensibiliser l'opinion publique américaine et mobiliser aussi les français de New York, en faveur de Jean Gemähling, qui lui a brièvement succédé au C.A.S. et qui est emprisonné au fort Saint Jean à Marseille. Ses prises de positions courageuses et à contre-courant le font désavouer par le gouvernement américain et par ses anciens mandataires de l'Emergency Rescue Committee. Il perd son emploi au Foreign Policy Association et sera même inquiété en 1950 par la commission des activités anti-américaines (Mac Carthy) alors qu'il s'était opposé dés 1936 à la politique des communistes staliniens dans la guerre d'Espagne. Veuf, il se remarie en 1950 avec Annette Riley, dont il a eu trois enfants. Il reçoit une reconnaissance tardive quelques mois avant sa mort, le 13 septembre 1967, en étant fait, au Consulat français de New York, Chevalier de la légion d'honneur.
Il est honoré après sa mort du titre de "Juste parmi les Nations" et un arbre méditerranéen a été planté à sa mémoire dans le cimetière de Yad Vashem, à Jérusalem en 1995.