Miasto powstało w 1858 r. przez połączenie dwóch niewielkich wiosek – Jokohama i Kanagawa, których mieszkańcy trudnili się rolnictwem i rybołówstwem. Wtedy też zaczęto budowę portu, mogącego przyjąć przypływające z zagranicy statki handlowe. Już w następnym roku ogłoszono Jokohamę portem otwartym dla obcych jednostek.
W ciągu następnych dwóch dziesięcioleci stała się jednym z najważniejszych portów Wysp Japońskich i w 1889 r. osiągnęła liczbę 122 tys. mieszkańców. Znaczącymi krokami w rozwoju infrastruktury miejskiej była budowa sieci wodociągowej (1887) i elektryfikacja miasta (1890). Jednym z najdramatyczniejszych zdarzeń, jakie dotknęły miasto, było potężne trzęsienie ziemi 1 września 1923 r., podczas którego śmierć poniosło około 20 tys. osób, a w gruzach legło bądź spłonęło 60 tys. budynków. Dzięki wielkiemu wysiłkowi władz i mieszkańców miasto odbudowano do końca 1929 r.
W 1931 r. prowadzone u ujścia rzeki Tsurumi prace doprowadziły do osuszenia znacznych terenów, na których zbudowano potem wiele obiektów przemysłowych.
Kolejne dramatyczne chwile miasto przeżyło podczas amerykańskich bombardowań w 1945 r. Do najtragiczniejszego nalotu doszło 29 maja, kiedy zginęło ponad 14 tys. osób, a zniszczeniu uległo prawie 80 tys. budynków, 42% miasta zamieniono w popiół.