A colonização começou em 1855, época em que entraram várias famílias de origem alemã, fundando a comunidade de Harmonia. A origem do nome da localidade deve-se ao fato de que quando os primeiros moradores reuniam-se em casa de alguns colonos, ali cantavam e faziam canções da terra origem, a Alemanha. Fato este que proporcionava uma agradável harmonia entre os componentes reunidos. A este fato, deve-se a origem do nome Harmonia, que permanece até hoje. Em 13 de abril de 1988, sob a Lei Estadual nº 8.562, foi criado oficialmente o município de Harmonia.
Harmonia está localizada a 64 Km da capital Porto Alegre.