El 22 de noviembre de 1937, alarmado ante el avance japones, Rabe junto con otros ciudadanos extranjeros había organizado el Comité Internacional de la Zona de Seguridad de Nanking que había establecido una «zona internacional de seguridad de Nanking» en el barrio occidental de la capital, utilizando para ello los edificios de las embajadas, la universidad de Nanking y otros terrenos; todos ellos bajo la protección de la bandera de la esvástica que indicaba sus límites. La zona internacional de seguridad era un espacio en el que se proveía de refugio y alimento a los refugiados chinos ante la inminente ocupación de la ciudad. Rabe fue elegido como líder de este comité por su condición de miembro del partido nazi, dadas las buenas relaciones existentes entre el Imperio japones y Alemania, ambos firmantes del pacto anti-Komintern. Registra en su diario lo ocurrido aquellos días: «No queda ningún funcionario administrativo aquí. Nadie se sacrifica por el bienestar de cientos de miles de habitantes. Hermosa perspectiva, Dios mío, si Hitler quisiese ayudar». En otros pasajes de su diario puede leerse: «No sabemos cómo podríamos ayudar a la gente. Los soldados japoneses están fuera de control». «Por doquiera que se mire no hay más que brutalidad y la bestialidad de los soldados japoneses».

Otro texto registra: «A uno se le quita el aliento al ver a mujeres con cañas de bambú introducidas en la vagina. Incluso a viejas de más de 70 años las violan sin parar. He visto con mis propios ojos a las víctimas y hablé con ellas poco antes de su muerte». En la Navidad de 1937 visita a las víctimas en un hospital: «Encuentro a un civil con los ojos y la cabeza quemados por completo. Los japoneses los rociaron con gasolina. Está el cadáver de un niño de unos siete años con el vientre atravesado por las bayonetas. Lo internaron en el hospital y murió después de dos días sin lanzar un grito. He visto tantas víctimas que tengo que mantener mis nervios bajo control». 

El general japonés Iwane Matsui entra en Nanking

En febrero de 1938 Rabe regresa a Alemania e intenta conseguir una audiencia con Hitler para informarle de lo ocurrido. No lo consigue por lo que en junio de 1938 le envía una carta: «¡Mi Führer! La mayoría de mis amigos en China opinan que no se le hizo a usted un informe sobre la verdadera situación. Le envío el texto de una conferencia preparada por mí que no está destinada para su publicación». Una vez en Alemania se dedicó a dar conferencias para denunciar lo ocurrido por lo que la Gestapo le detiene para interrogarlo durante tres días e incautarse del material filmado sobre la matanza. La intervención de Siemens consiguió que le pusieran en libertad con el compromiso de abstenerse de hablar en público. Siemens le da un empleo en Alemania pero después de la guerra es detenido por los rusos y después por los ingleses, acusado de haber sido «el líder nazi en Nanking». Se mantiene a duras penas en casa de su hija, en Berlín, gracias al trueque con piezas de arte chino. Al conocer su situación, los supervivientes chinos le enviaron periódicamente paquetes de comida pero estos envíos concluyeron cuando en 1949 se impuso el régimen comunista de Mao. El 5 de enero de 1950, Rabe fallecía en Berlín de un ataque cerebral.

Aunque el general Iwane Matsui no estuvo presente en Nanking durante las matanzas al encontrarse enfermo, era plenamente consciente de lo que estaba sucediendo allí. Tras la guerra culpó al Príncipe Yasuhiko Asaka y al Teniente General Heisuke Yanagawa, comandante del 10º Ejército, de la matanza  ya que «al encontrarse enfermo, él no había podido intervenir». En 1948, el Tribunal Penal Militar Internacional para el Lejano Oriente declaró que Matsui no estaba lo suficientemente enfermo para no haber podido intentar detener la matanza, y que era consciente de lo que ocurría en Nankín. El Tribunal lo encontró culpable de crímenes de guerra y fue ahorcado en diciembre de 1948, en la Prisión Sugamo