Schöller war Unternehmer mit Leib und Seele. 1937 legte er gemeinsam mit Bruder Karl den Grundstock für sein Lebensmittelimperium aus Eiskrem. Es wurde in Handarbeit "Eis am Stiel" erzeugt – ausgeliefert in Thermosboxen und per Fahrrad. 1957 wurde erstmals Tiefkühlkost und Oblatenlebkuchen hergestellt, damit auch der Winterbetrieb gesichert war. Ab 1960 trat er mit eigener Marke auf dem Markt auf und expandierte ins Ausland, nach 1990 auch nach Osteuropa. Das jüngste Eiskrem-Werk baute Schöller 1999 im türkischen Bursa. Schöllers Unternehmen war zuletzt nur noch dem Namen nach mit dem Unternehmen ver-bunden. 2001 schließlich ging die Schöller-Holding im Schweizer Lebensmittelgi-ganten Nestle auf.

Schöllers Markenzeichen war seine Menschlichkeit. Er spendete als Mäzen für Wissenschaft und Kultur Millionen an das Großklinikum Nürnberg, die Nürnberger Oper, die Universität und für die Sanierung von Baudenkmälern. Er wurde Ehren-senator der Uni Erlangen-Nürnberg, Honorarkonsul von Österreich und mehrfacher Verdienstkreuz- und Ordensträger. Das neue Zentrum für Altersmedizin in Nürn-berg wurde nach seinem Namen benannt.