1976年に連邦経済省に入省し、政策局に勤務。1981年に
ドイツキリスト教民主同盟(CDU)に入党し、同年
シュレースヴィヒ=ホルシュタイン州政府の州首相府に移る。
ゲルハルト・シュトルテンベルク州首相の勧めで1982年に連邦財務省に転じ、大臣官房長。1987年、同省財政局長。1989年に同省金融局長となる。1990年に連邦財務省事務次官に就任。
マーストリヒト条約の締結交渉や
ドイツ再統一に伴う金融・財政の責任者となった。旧東ドイツからのソ連軍撤収費用としてソ連との間で財政支援協定を締結。また1991年の
湾岸戦争の際に、多国籍軍支援としてドイツが
アメリカ合衆国に120億
ドイツマルクを支払った協定もケーラーが担当した。当時の
ヘルムート・コール首相(CDU)の信頼が厚く、
G7の経済会議にも代表として四回出席した。ドイツ再統一の際東西両ドイツは
通貨同盟を締結したが、その際財界の要請に応じて東ドイツの経済価値を過大評価し、のちにドイツ政府に2000億マルクもの追加負債を与えたのはケーラーの責任であるという声もある。