Nykyisen Kalastajatorpan tilalla sijaitsi punainen 1800-luvulta peräisin oleva kalastajatupa, kartanon torppa, jota vuokrattiin kesäksi perheille. Torppa sijaitsi juuri alueen eteläkärjessä Laajalahden rannalla.

Vuonna 1915 höyryleipomo K.M. Brondin muutti torpan kesäkahvilaksi.

1936 vanha punainen torppa purettiin, ja arkkitehti Jarl Eklund ryhtyi kiinteistön omistaja Fazerin Konditorian tehtäväksiannosta suunnittelemaan paikalle uutta ravintolarakennusta.

17.3.1937 valmistui 600 m2 kokoinen ravintolarakennus, johon kuului erillinen ravintolasali ja kahvila. Tiloihin tultiin sisään saman eteisen kautta. Asiakaspaikkoja oli sisällä 400 ja terassilla 400.

Ravintola oli kolmiosainen. Rannansuuntaisesti ja eteisestä katsottuna ensimmäinen sali oli Konjakkisali, toinen Sininen Sali ja kolmas Keltainen Sali, jonka kolmen ikkunan läpi avautuivat edelleen loistavat näkymät vanhaan kulttuurimaisemaan. Ravintolasisustuksen, kattomaalaukset ja valaisimet suunnitteli Hjalmar Hagelstam. Maalaamisessa oli tuolloin apuna Muumien äiti taideopiskelija Tove Jansson, joka ruokaa ja juomaa vastaan teki töitä Fazerille. Ryijyntekijät, sepät, maalarit ja muurarit loihtivat näyttävän kokonaisuuden, suomalaisen ravintolasisustuksen klassikon.

Uusi kahvila-ravintolarakennus osoittautui heti ahtaaksi ja laajennustöihin ryhdyttiinkin heti, sillä Helsinkiin oli tulossa vuonna 1940 olympialaiset, ja kaupunki tarvitsi kansainväliset mitat täyttävän ravintolan. Lisärakennus tehtiin vuosina 1938-1939, ja se avattiin yleisölle 11.6.1939.

Laajennuksen myötä rakentuivat helsinkiläisen ravintolamaailman klassikot: Siirtomaasali ja Pyöreä Sali, joita palveli uusi keittiö. Uudisosaan sopi 900 asiakasta ja terassille 200 eli kaikkinensa asiakaspaikkoja oli 1600 ja 400 terassipaikkaa.