Auke i Skjåk, nedgang i Lom og Vågå