这时，他的全家移居南京，他和他的前妻纯宜结了婚。她是一个朴厚的女子，和他的妹妹文渼同学。后来陶行知献身教育，她们给他分担了不少辛劳。
辛亥革命给古老中国一个新生的希望，吸收“西洋文明”的思想风行，“乘长风破万里浪”到欧美留学，是青年们最感光荣的期望，他也多么为这个期望所激动啊！
但是，钱呢，没有钱能够到外国留学吗？他不得不向亲友求助，用了不知多少恳切的言语和信件，持着“十扣柴门一扇开”的希望，总算借到了一笔赴美的旅费。
一九一四年秋天，他搭上开往美国的外国轮船，从一个封建落后的国度，向新兴的资本主义国度航行！
希望和依恋的情感，交织在他心中；蓝色的海洋没有边际地展在眼前；狂放的海风掀起波浪，掀起他的澎湃的思潮。他所去的国度的一切，曾在书本上或别人的口中，给描画出一个朦胧的轮廓：矗天的楼厦，庞大的机械，都模糊地显现了。在兴奋的**下，他写下了最初的诗篇《海风歌》，可惜它被遗失，像海风吹过，没留踪迹。
船在大海愈行愈快，他自言自语地说：
“好极了！”他想着教科书上说，这是蒸气机关推动的，于是便走到机器间去参观那复杂的机器，又一路走到舱门口，只见几个赤膊活人，像天津鸭子在那里烤着，烤出一身的黑油，身上、脸上、手上黑得如同他们所烧的煤球一样黑！这印象，照他自己的话说，“简直像硝强水刻到心窝里”。但这时，他内心所激起的，远不过是一种泛爱思想的同情，只在十几年后，中国劳工的力量成长臌大，他的思想向现实更深突进的时候，他才更明确地认识到工人主人翁的地位！
到了美国，他最初进伊利诺伊大学攻读市政，半年后转入哥伦比亚大学研究教育，他成为美国实验主义教育家杜威博士所赏识的学生，在这时奠定了献身教育事业的志愿。
杜威的实验主义注重生活的实践，人要照着自己的意思支配生活环境；遇到困难，要假设问题试验着去解决；不能解决时，再用别的方法试验。他的教育思想口号是“教育即生活”，“学校即社会”，这种学说是适合美国资本主义要求的，实际是一种唯心的理论，但所主张实践精神有积极性的一面。陶行知接受这积极的精神，为他以后教育工作的思想基础！
在留学生中，显明分出界限：有的经济富裕，纵情享乐，求学不过是“镀金”罢了；但也有少数贫寒青年，不能不过着艰困的生活：课外时间向茶馆、工场寻找工作，换取一段时间的生活费用。他也是其中的一个，有时以劳役取得报酬，更多的是卖稿，或者举办演讲，这样来维持学业！
他潜心在研读之中，勤苦奋斗，按时地把生活情形报告家中。遥远的祖国的书信，也是他最亲切的安慰。但不幸第二年他的父亲去世了，这真是突然而来的打击，他热泪涌流，伏在**痛哭！
他悲痛十分，妄想飞回国内，望慈父最后一眼，然而这是不可能的！
明澈的理智使他不被哀痛的情感淹没。他感到责任的加重，抹去泪水，仍然按时听课，课外的时间就埋头在图书馆中。常常到深夜，敲了闭门的钟声，他才独自一人踱回宿舍。过度的疲劳使他沉入睡眠，但又常从梦中痛哭醒来。后来不久，接到家信，他的妻子生了第一个儿子，全家欣喜，他也得到一点安慰。但对于亲人的情思，直到他的晚年，还不时地流露在诗文中间。诚挚的至情，随着他思想的进步，扩大为对人民的热爱，对事业不屈不挠的精神！
二、平民教授
一九一七年的秋天，他从美洲回国，踏上祖国的海岸，他的口袋中带回了出国时所带的钱。他完全靠自己的劳动维持三年学业。
三年离别，见了母亲、妻子、妹妹，真是悲欢交集，他双手举起幼小的儿子桃红，频频亲吻他的脸颊。时光是多么快的飞过，真像一个梦境，仿佛记得自己还是父亲的爱子，醒来却是孩子的父亲了。
人生事业也从此标出一个起点！
他接受了南京高等师范学堂的聘书，开始了教授生活。他抱着一个改造中国教育的愿望，细心考察当时各级学校的教育实施情况。
他看到所有的学校，都还用着陈腐不合理的教育方法，“教师只会教书，只会拿一本书要儿童来读它，记它，把那活泼的小孩子做个书架子，字纸篓；先生好像是书架子字纸篓的制造家；学校好像是书架子字纸篓的制造厂！”
“有些学校的教师，教学方法比较进步了，把注意的中心点，从书本上移到学生身上来了，凡是学生需要的，教师都拿来给他们，然而学生还是处在被动的地位，因为先生不能一生一世跟着。热心的先生，因想将他所有的传给学生，然而世界上新理无穷，先生安能尽把天地间的奥妙为学生一齐发明？”
对于教育上这种种的毛病，他认定有改革的必要。于是他在校务会议席上，提出用“教学法”代替“教授法”的主张。他说：
“好的先生，不是教书，不是教学生，乃是教学生学，就是把教和学联络起来。对于一个问题，不是要先生拿现成的解决方法来传授学生，乃是要把这个解决的方法，如何找来的手续程序，安排停当，指导他，使他以最短的时间，经过相类的经验，发生相类的理想，自己将这个方法找出来，并且能够利用这种经验理想来找别的方法，解决别的问题……”
这一个破坏传统教育方法的提案，仿佛立刻刺痛了在座的教授们，使他们的自尊心受到了损伤。他们对他，这一个初回国的青年教授，都投来轻蔑的眼光，联合反对他的“标新”主张。
为着理想的实现，他也不肯示弱，举出了许多实例，引出了许多理论，来辩论解释。结果，两小时过去了，大家争得面红耳赤，他的提案仍然不被通过。因此他也拒绝担任教育专修科主任的名义。
初步的教育改良的理想，顽固的社会都伸出铁掌拒绝容纳，他不免感到一些失望。但他绝不退却，仍然把自己的主张写成了一篇“教学合一”的论文，在《时报》的《教育新思潮》上发表。不久“五四”运动发生，学校中同事无暇坚持反对意见，他就把全校的“教授法”改为“教学法”。后来这“教学合一”更进一步发展为“教学做合一”的理论系统，成为他的教育理论的一个重要部分。
“五四”运动开辟了中国新文化的道路，“平民思想”渗进文化的各部门，陶行知和一些朋友，积极提倡平民教育。
一九二○年，他在南京高等师范，举办了第一次暑期学校，发动留校同学，每晚进行教邻近的一些“平民”识字。他在晚饭之后，总要按时跑到学校去查看。他和那些车夫、小贩亲切地谈话，问长问短，绝没有大学教授的架子。
有一个晚上，月亮那样好，他和几个朋友围坐在园中草地上，互相谈说各人的志愿。有人问他：
“知行，谈谈你的抱负？”
“我吗？”他沉着地回答着，“我的志愿就是要用四通八达的教育，来创造一个四通八达的社会。”
他解释平民教育的宗旨就是要叫种种人受平民化：“一方面我们要打通层层叠叠的横阶级，如贫贱、富贵；老爷、小的；太太、丫头；等等。素来是不通声气的，我们要把他们沟通。又一方面我们要把深沟坚垒的纵阶级打通，纵阶级最昭著的是三教九流七十行，江南江北，浙东浙西，男男女女等都有恶魔把他们分得太严，这种此疆彼界也非打通不可。”
这种想法后来是被现实粉碎了。可是当时他是精神十倍地来推行这个理想。
他从和民众的接触中，首先发觉服装的不同，使他和广大的民众，不能像一家人样亲近。于是，他毅然把知识分子的衣服脱掉，丢开了。他买了一件棉袄，一双布棉套裤，一顶瓜皮帽，穿在身上，戴在头顶。这种行动引起了人们的议论，认为是他的矫情。可是，他自己非常得意，觉得完全是一个中国人了，并且与一般人民相近很多了。
他高兴地写信给他的妹妹说：“我本来是一个中国平民，无奈十几年的学校生活渐渐把我向外国的贵族方向转移。学校生活对我的修养固有不可磨灭的益处，但是这种贵族的风尚却是很大的缺点，好在我的中国性、平民性是很丰富的，我的同事都说我是一个“最中国”的留学生，经过一番觉悟，我就像黄河决了堤，向中国的平民化的路上奔流回来了。”——他像一个行脚僧各处奔跑，亲自把“平民教育”给人家送到大门上。他跑遍了南京的旅馆、茶馆；“大客栈”、“小乐意”、“万全楼”都有他的影子。
南京栖霞寺很有名胜，一九二三年的双十节他跑到寺中去玩，知道寺中有四五个和尚不识字，可是他看见有个慧空和尚在看《封神榜》，他就和慧空招呼，问他说：
“和尚要修行成佛，不会念经可以吗？”