Cuando el Emperador Kōmei murió en 1867, hubo un rumor de que Iwakura había tramado el asesinato del Emperador con veneno, pero evadió el arresto.