Bayern confirmou a saída de Guardiola no final desta temporada, no domingo.
O ex-gerente de Barcelona, de 44 anos, tem sido associada com o Manchester City, Manchester United, Chelsea e Arsenal.
"Eu acho que eu sei onde ele está indo - mas eu quero deixar o anúncio para ele ou seu novo empregador", disse Rummenigge.
O ex-atacante do Bayern e Alemanha diz que detém nenhum sentimento doente para o espanhol, apesar de sua decisão de deixar o clube bávaro no próximo verão.
"Ele veio até mim há duas semanas na nossa festa de Natal e me disse que ele estava à procura de um novo desafio", disse Rummenigge jornal alemão Bild.
"Ele era quase apologética. Eu não estou decepcionado com ele."
O ex-Milan, Chelsea e Real Madrid chefe Carlo Ancelotti, de 56 anos, assinou um contrato de três anos para substituir Guardiola no Bayern.
Rummenigge diz que ele estava desconfiado Guardiola iria decidir seguir em frente depois de perceber sinais de que o ex-meio-campista Espanha pareciam estar ficando inquieto no verão.
"Você pode ler entre as linhas e isso era algo que deveríamos ter interpretado", acrescentou.
"Fizemos tomar conhecimento do mesmo, mas nós só queria dar-lhe tempo para fazer a sua mente em paz."
