Em 1912, a construção de uma estrada de ferro cortando a região onde atualmente fica o município de Sertão atraiu algumas pessoas para o local, descendentes de italianos, que passaram a cortar árvores e preparar o solo para a plantação de milho e trigo. Nesta época, Sertão era apenas uma seção do distrito de Coxilha, integrante do município de Passo Fundo. No dia 05 de novembro de 1933 foi criado o distrito de Sertão, instalado em 15 de outubro do mesmo ano. No dia 05 de novembro de 1963, realizou-se plebiscito para a emancipação do município, que já contava com 15.230 habitantes.
Sertão está localizada a 320 Km da capital Porto Alegre.