¿Es mejor no limpiarse los oídos con frecuencia?

Normalmente me limpio los oídos a menudo.

Es refrescante y lo hago a menudo porque me preocupa que se me acumule cerumen y se ensucie si no lo hago. También lo hago a menudo con un hisopo de algodón después de ducharme. Pero he oído que tocarse los oídos con demasiada frecuencia no es bueno.

Entonces, ¿debería dejarlo así y no excavar? Si se vuelve demasiado fuerte, ¿debería ir al hospital a que me lo traten? ¿O se saldrá el cerumen solo? Tengo curiosidad.