同日宣布将以民主党参选人的身份参加2006年纽约州众议院的中期选举。选举期间，罗斯和他的竞选团队采用小额筹款的方式筹措竞选资金，提出发展曼哈顿福利系统与医保系统，以寻求中产阶级以及中产阶级以下阶层的支持。最终，罗斯凭借他健康的公众形象和颇受民众欢迎的家庭背景击败了同时参选的一位共和党参选人和两位独立参选人，以71.4%的绝对优势赢下曼哈顿苏荷区及格林威治村选区，成为了本届纽约州众议院最年轻的议员之一。
从进入政坛到当选议员，罗斯只花了不到十年时间。一方面，这意味着罗斯奥莱利前途无量，一位刚满三十岁便成为州议员的政客以后能在这个圈子里做到什么程度谁也无法预计，但另一方面，这却也意味着罗斯的政治根基尚浅，在那些一辈子都在经营关系、笼络人脉的同僚面前还显得过于稚嫩。主要凭借小额捐款筹措竞选资金的罗斯到现在为止甚至还没有一个稳定的资金来源，而他现在最需要的，就是一个能够长期支持其政治活动的主要赞助者。
就在此时，约翰尼施瓦茨打来了电话。
“我在纽约时报、纽约邮报和华尔街日报上都读到过你的故事，罗斯。”约翰尼为罗斯斟了一杯马提尼，将杯子推到对方身前，“非常温暖人心，我很感动。”
“谢谢你。”罗斯微微抬起手，露出了一个抱歉的微笑，“但是我不喝酒。”罗斯并非不喜欢酒精的味道，但在政坛里，他却必须时刻保持清醒，毕竟任何一点纰漏都有可能成为对手的把柄。
更何况，对于罗斯来说，权力才是更醉人的东西。
“啊，一个有原则的男人……我喜欢。”约翰尼理解地点点头，把马提尼放到了自己身前，“我听说你在法学院就读期间就还掉了一半的助学贷款。”
“没错。”罗斯摸摸上嘴唇，笑了笑，“法学院期间我有偿为许多无法支付律师费用的穷人家庭提供法律咨询，虽然每次的咨询费用最多都不会超过四十美元，但加在一起还是一笔非常可观的财富。”
“这非常惊人。”约翰尼向罗斯奥莱利投去了一个赞赏的眼神，“我很喜欢像你这样从底层开始做起，慢慢获得成功的underdog。”
“underdog是我最大的资本。”对于这点，罗斯毫不避讳，“既然你看过纽约时报对我的采访，那么你应该很清楚，施瓦茨先生。我85%的竞选资金都是通过小额捐助的方式筹措的。”
“嗯哼。”约翰尼给出了一个肯定的回答。“不过。绝大部分小额捐助者都是冲动性的捐助者，竞选结束之后，很少有小额捐助者会继续为他们支持的竞选者提供资金支持。”