神戸市における魚市場の歴史は古く、遠く江戸時代にまでさかのぼります。300年以上の歴史をもつ宮前魚市場をはじめ、市内各地で生鮮食料品の卸売市場ができました。
一方、青果市場の起源は、比較的新しく、明治14年ごろ、弁天浜市場(通称)を開場した頃に始まったとされています。その後、市内の各地で、個人市場と問屋業者とを合併した株式会社組織の市場ができました。
魚市場、青果市場とも、その後、合併、分場を繰り返しましたが、大正12年11月中央卸売市場法が施行され、神戸市及びその隣接町村が第一次指定区域となったため、市場開設の調査を行い、市会の議決を経て、大正15年7月、建設地を兵庫区新在家地先に選定しました。建設工事は昭和5年8月に起工し、1年8か月の歳月と延14万8千余人の労力を費やして、昭和7年4月に完成し、同12月、全国で5番目の中央卸売市場として業務を開始しました。
また、細長い神戸市の地形に対応して、脇浜埋立地に東部配給所を、駒ヶ林に西部配給所を設け、業務を開始しました。その後、東部配給所は東部市場として移転開場し、西部配給所は昭和37年に廃止され、昭和40年に食肉市場として開設された後、西部市場へ名称変更し、現在の3市場体制となりました。