Sin embargo, su relación con el emperador Qianlong se deterioró durante sus últimos años.
El emperador Qianlong se enfadó mucho por ello y emitió un edicto para reprender a Zhang.
El emperador Qianlong supo entonces que Wang había filtrado la noticia de su enfado a Zhang.
Zhang murió por enfermedad en 1755, y se le concedió una placa en el Templo Imperial Ancestral según los deseos del emperador Yongzheng y del emperador Qianlong, que habían decidido revocar la decisión de revocación.
Fue el único funcionario de etnia han durante la dinastía Qing al que se le concedió tal honor póstumo.