20世纪初，中国正处于清末商品经济发展初期。虽然民族工商业有一定的发展，但因列强侵入，
清政府经济不能自主，尤其是外商银行进驻中国，不仅攫取了中国铁路的筑路权，还通过赔款的清偿，控制了中国的关税收入；又通过进出口贸易，垄断了国际汇兑，成为中国金融业的主宰。当时国内一些银行如中国通商银行、信成银行等很难与外商银行相抗衡。因此，要办自己的银行，“集资设立，以期不外溢利权”,成为当时朝野的呼声。
1907年11月，邮传部正式奏请设立交通银行。邮传部希望以银行为枢纽，使轮、路、电、邮四政互为交通，又取“交通”二字交叉贯通引申兴旺发达之义，故名交通银行。当时拟设交通银行的具体缘由，一是经办募债赎路(京汉铁路);二是经营四政收支；三是自办国外汇兑；四是辅助统一币制。1907年12月8日，经批准，交通银行正式在北京开始筹备。
1908年3月4日，交通银行正式开业。1912年初，经董事会议决定交通银行的英文名称：BANKOFCOMMUNICATIONS。历史上，交通银行发行货币，代理国库，投资和支持实业，为发展中国近代工业做出了巨大贡献。1958年，除香港分行仍继续营业外，交行国内业务分别并入当地中国人民银行和在交行基础上组建起来的中国人民建设银行(“中国建设银行”前身)。
交行重新组建后，与台湾的交通银行发生正统之争。台湾的交行声称成立于1907年，设立之初是辅佐路、电、邮、航四大要政的资金调度，1949年迁往台湾，1960年复业，1975年被制定为工业专业银行，1979年改制为开发银行，为台湾工、矿、交通及其他公用事业提供金融服务。由于内地和台湾的两家交通银行中文名称相同，英文名称均为“BANKOFCOMMUNICATIONS”,而且中文行名招牌共同使用郑孝胥题写的行名。国际上很多人不清楚中国内地交行与台湾交行的差别，因此，在开展国际业务时，帐单上的两个交行常常被混为一谈，出现了内地交行的钱被寄到台湾去了，或是台湾交行的钱被打到了内地交行的帐上。最后经过追根溯源，双方举证，内地的交行是1908年光绪皇帝御批组建，从1908年至今的档案均完整地保存在南京第二历史档案馆，包括历年来发行的纸币。而台湾交行是1961年成立的，没有前期史料，历年发行的纸币档案也不全。显然，内地交行属于正统。当然由于历史原因，两者之间的血缘关系是明显的。最后，台湾的交行将其英文名称的前半截改为了拼音，全称就成了“ChiaoTungBankCo.”,内地的交行则使用BANKOFCOMMUNICATIONS。2006年8月21日，台湾的交行和中国商银合并，并更名为兆丰国际商业银行(MegaInternationalCommercialBank)。
2007年5月在上海证券交易所挂牌上市，股票代码上交所：601328。2010年11月29日，交通银行台北代表处在台北101大楼正式成立。交通银行成为首家在台湾设立机构的大陆银行。
2015年5月7日，交通银行(卢森堡)有限公司正式挂牌成立，标志着该行在欧元区的第一家子行的诞生。2016年，美国《财富》杂志发布的世界500强公司排行榜，交通银行营业收入位列第153位。截至2017年3月，交通银行已在16个国家和地区设立了20家分(子)行及代表处。
