1994年30岁而立之年的马云开始创业，创立杭州第一家专业翻译社-海博翻译社。
1995年，“杭州英语最棒”的31岁的马云受浙江省交通厅委托到美国催讨一笔债务。结果是钱没要到一分，却发现了一个“宝库”——在西雅图，对计算机一窍不通的马云第一次上了互联网。刚刚学会上网，他竟然就想到了为他的翻译社做网上广告，上午10点他把广告发送上网，中午12点前他就收到了6个，分别来自美国，德国和日本，说这是他们看到的有关中国的第一个网页。马云当时就意识到互联网是一座金矿。开始设想回国建立一个公司，专门做互联网。马云萌生了这样一个想法，把国内的企业资料收集起来放到网上向全世界发布，他立即决定和西雅图的朋友合作，一个全球首创的B2B电子商务模式，就这样开始有了创意。并起名中国黄页（）。
回国当晚，马云约了24个朋友做外贸的朋友也是他在夜校名义上的学生，给他们介绍，结果23人反对，只有一个人说可以试试。马云想了一个晚上，第二天早上还是决定干，哪怕24人都反对，他也要干。
“其实最大的决心并不是我对互联网有很大的信心，而是我觉得做一件事，经历就是成功，你去闯一闯，不行你还可以调头，但是如果你不做，就像你晚上想想千条路，早上起来走原路，一样的道理”。马云提起当初，赞赏的是自己的勇气而不是眼光。
1995年4月，31岁的马云投入7000元，又联合妹妹、妹夫、父母等亲戚凑了两万元，创建了“海博网络”，“海博网络”从此成为中国最早的互联网公司之一，产品就是“中国黄页”。
1996年，32岁的马云艰难的推广自己的中国黄页，在很多没有互联网的城市，马云一律被称为“骗子”，但马云仍然像疯子一样不屈不挠，他天天都这样提醒自己：“互联网是影响人类未来生活30年的3000米长跑，你必须跑得像兔子一样快，又要像乌龟一样耐跑。”然后出门跟人侃互联网，说服客户。业务就这样艰难地开展了起来。1996年营业额不可思议地做到了700万！也就是这一年，互联网渐渐普及了。
1996年3月因为杭州电信的实力悬殊的竞争，最后马云不得已和杭州电信合作，马云的中国黄页资产折成60万，占30%股份，杭州电信投入140万人民币，占70%股份。后因经营观念不同，马云和杭州电信分道扬镳，放弃了自己的中国黄页，并将自己拥有的21%的中国黄页股份，全数送给了一起创业的员工。
这年是1997年，这是马云创业生涯第一次的失败，这年马云33岁。
1997年，马云离开中国黄页后，受外经贸部邀请，加盟外经贸部新成立的公司，中国国际电子商务中心（EDI），由马云组建、管理，马云占30%股份，参与开发了外经贸部的官方站点以及后来的网上中国商品交易市场。在这个过程中，马云的btob思路渐渐成熟“用电子商务为中小企业服务”。连网站的域名他都想好了——阿里巴巴。互联网像一个无穷的宝藏，等待人们前去发掘，就像阿里巴巴用咒语打开的那个山洞。
1999年，35岁的马云受够了在政府企业做事条条框框的束缚、磕绊与畏首畏尾，不甘心受制于人的马云推辞了新浪和雅虎的邀请决心南归杭州创业，团队成员全部放弃其他机会决心跟随。这年1999年，这是马云遭逢的人生的第二次创业失败。
1999年1月15日，马云和他的团队悄然南归。
1999年2月，在杭州湖畔家园马云的家中召开第一次全体会议，18位创业成员或坐或站，神情肃穆地围绕着慷慨激昂的马云，马云快速而疯狂地发表激情洋溢的演讲“黑暗中一起摸索，一起喊，我喊叫着往前冲的时候，你们都不会慌了。你们拿着大刀，一直往前冲，十几个人往前冲，有什么好慌的？”在这次“起事”的会议上，马云和伙伴共筹了50万元本钱。并按照惯例进行了全程录像，马云坚信这将有极大的历史价值。在这次会议上马云说“我们要办的是一家电子商务公司，我们的目标有三个，第一，我们要建立一家生存102年的公司；第二，我们要建立一家为中国中小企业服务的电子商务公司；第三，我们要建立世界上最大的电子商务公司，要进入全球网站排名前十位。从这天开始，马云开始铁下心来做电子商务。
