Vuonna 1849 Eduard Fazer sai Suomen kansalaisuuden ja oli vapaa perustamaan oman yrityksensä. Varallisuuden kasvaessa hän pystyi hankkimaan omaisuutta. Vuonna 1856 hän osti Kluuvikatu 3:ssa sijaitsevan kiinteistön, josta myöhemmin tuli Fazer-yrityksen sydän.

Karl Fazerin isä Eduard Fazer muutti 23-vuotiaana Sveitsistä Suomeen työskennelläkseen saksalaisen Ernst Flohrin palveluksessa. Fazer oli lähtöisin sveitsiläisestä Romanshornin kaupungista, joka sijaitsee Boden-järven rannalla. Alun perin perheen nimi kirjoitettiin Fatzer.

Perhe asui Aleksanterinkadulla, lähellä Kluuvikatua. Eduardin ja hänen sveitsiläissyntyisen vaimonsa perheessä oli kahdeksan lasta, Karl oli nuorin poika.

Karl Fazer oli 18-vuotias lähtiessään vuonna 1884 opintomatkalle Pietariin, Berliiniin ja Pariisiin. Nuoren miehen haaveena oli opiskella sokerileipuriksi ja avata oma konditoria Helsinkiin. Pietari oli luonteva paikka aloittaa, venäläinen suklaa oli tunnettua ja hallitsi markkinoita. Pietarissa Karl tapasi kuuluisia sokerileipureita, kuten Conradi, Bormann ja Berrin.

Kondiittorin ammatti ei ollut 1800-luvun lopulla yleinen eikä kovin suosittukaan. Leipä leivottiin enimmäkseen kotona ja konditoriat olivat paikkoja, joissa tarjottiin alkoholia. Ei ihme, ettei Eduard Fazer ollut mielissään poikansa aikeista.

Karl Fazerin Ranskalais-Venäläinen Konditoria avattiin Kluuvikadulla 17.9.1891. Avajaismainoksen mukaan konditoria ”vastaanottaa Konvehdin, Glassin ja Sokerileivosten, Teeleipien ja Pyramiidien sekä Tanssiais- ja Hääbufetien tilauksia”. Saman päivän lehdessä mainostettiin Hotel Kämpin seisovaa pöytää ja Herra Oskar Merikannon konserttia Palokunnantalolla.

Historian hämärään on jäänyt tieto siitä, mitä leivoksia oli valikoimassa avajaispäivänä, mutta on syytä olettaa, että mukana olivat yhä edelleen valmistettavat Bebe, Tumma perunaleivos ja Kinuski. Karl Fazer toi kinuskin reseptin Pietarista ja sitä käytettiin niin makeisten valmistukseen kuin kakkujen ja leivosten kuorruttamiseenkin. Nykyisinkin kinuskikakku on yksi myydyimmistä kakuista Kluuvikadulla, kinuskimakeisia valmistetaan aina jouluksi ja niillä herkuttelevat niin helsinkiläiset kuin Pohjolan kruunupäätkin.

Toiminta kasvoi nopeasti ja lainattu alkupääoma oli maksettu takaisin kahdessa vuodessa. Karl Fazer aloitti oikealla paikalla, oikeaan aikaan ja oikeassa maassa. Konditorian saamaa suosiota kuvaa hyvin Gunnar Matssonin 1892 tädilleen lähettämä kirje: ”...sen sijaan yksi sellainen liike, jonka uskoisi tuottavan kelpo voiton, on Fazerin konditoria Kluuvikadun varrella. Siellä nautitaan päivittäin yli 2000 leivosta ja lisäksi vielä koko joukko jäätelöitä ja vanukkaita sekä suklaata ja teetä. Nyt on modernia mennä Fazerille ja siksi koko Helsinki ravaa siellä; varsinkin kaupungin väestön naispuolinen osa, joka tiettyä iloa tuntien törsää isien, veljien, sulhasten ja ihailijoiden viimeiset rahat valtaviin määriin makeita herkkuja.”

Karlin rinnalla työskenteli vaimo Berta. Heidät vihittiin vuonna 1894, samana vuonna aloitettiin konvehtien ja suklaan valmistaminen Kluuvikadulla. Berta matkusti paljon ja toi matkoiltaan ideoita niin resepteihin, mainoksiin kuin näyteikkunoihinkin. Tyyli ja oikea värimaailma olivat Bertalle sydämen asioita ja hän loi Kluuvikadun näyteikkunasta käsitteen.

Vuosien 1897 - 1913 aikana Fazer viisinkertaisti liikevaihtonsa, samaan aikaan Helsingin väkiluku kaksinkertaistui. Toiminnan kasvaessa tuotantoa siirrettiin muualle, mutta Kluuvikatu oli ja pysyi Fazerin henkisenä ytimenä. Alkuperäinen rakennus purettiin ja vuonna 1908 valmistui uusi, Selim A. Lindqvistin piirtämä talo. Tämä talo purettiin 1928 ja vuonna 1930 muutettiin Gösta Juslenin piirtämän funkisrakennukseen. Karl Fazerin vävy, taiteilija Hjalmar Hagelstam maalasi uuteen kahvilatilaan upean seinämaalauksen, joka on yhä edelleen Kluuvikadun Fazerin ”tavaramerkki”.