Bekannt als “Schwarzer Abt”, dem die eigene Provision wichtiger als die Moral ist, macht er sich in Frankfurt viele Feinde. Besonders die zahlreichen Transfers von Andy Möller - stets verbunden mit öffentlichen Treueschwüren, bevor der nächste Wechsel folgt - stoßen den Frankfurt-Fans bitter auf. Gerster betont stets die Rechtmäßigkeit seiner Transfers, dennoch gilt er in Frankfurt als Persona Non Grata. Der „Spiegel“ bezeichnet ihn im Februar 1991 „als das größte Unheil, das über einen Fußballklub hereinbrechen kann”. Es ist der 16. Mai 1992, als Schiedsrichter Berg mit einem Nicht-Pfiff die Frankfurter für die kommenden Dekaden traumatisiert. Beim FC Hansa in Rostock bestreitet die Eintracht ihr letztes Saisonspiel und hat im Dreikampf mit Dortmund und Stuttgart die größten Chancen auf den Meistertitel. Ein Sieg beim designierten Absteiger hätte alles geklärt. Wir hören mal rein: Als Rostock in Führung geht, behalten die Hessen die Nerven und gleichen durch Axel Kruse wenig später aus.
Die Fans sind überzeugt, dass jeden Moment der Siegtreffer fallen muss, doch der Fußballgott hat an diesem Tag andere Pläne. In der schicksalhaften 76. Minute passt Yeboah an der Strafraumkante zu Ralf Weber, der nur noch abziehen muss. In diesem Moment wird ihm von hinten ein Bein weggezogen, der Verteidiger fällt und Rostocks Torwart hält den schwachen Schuss. Der Elfmeter für Frankfurt ist allen im Stadion klar - außer Alfons Berg. Der Schiri lässt weiterlaufen und aus lauter Fassungslosigkeit verliert Frankfurt am Ende noch 1:2 und die Meisterschaft ist futsch. Weber tritt eine Kamera kaputt. In der Kabine fliegen die Glasflaschen und die Eintracht-Fans haben Berg den verpassten, laut Kruse „klarsten Strafstoß des Lebens”, bis heute nicht verziehen. Berg gesteht nach Ansicht der Fernsehbilder seinen Fehler ein, was ihm den ewigen Zorn der Hessen auch nicht erspart.