自信源自什么？

有的人长相普通，钱包空空都很自信，到处撩妹。我长相中等偏上，工作在小县城，我从小就很自卑。大学同学里我是混的最差的一个，大学班上一共11个男生，他们月薪都过万了，而且不是大公司就是体制内的，只有我一个人在小县城，收入也很普通。

我是农村人，我有3个一起玩到大的朋友，我是我们几个人中唯一上大学的，年轻时候他们桃花运不断，他们的前女友都很漂亮，可是他们却不知道珍惜。我那时候不羡慕他们，因为那时候我只想考一个好大学，跳出农门。可是现在他们的孩子都上初中了，我还没谈过一次正式的恋爱。

我的自卑仅限于选择权在别人手里的事情上。比如找工作面试的时候，面对女人的时候。在自己能够掌握主动的时候，我非常自信。初中的时候我对自己说我一定能考上重点高中，结果我是我们班唯一考上的学生，因为能不能考上其实是靠自己的努力，自己能够把握；同样，高中的时候我自信我一定能考上一本，结果我考上了；大学的时候我对自己说我一定要一年考过英语四六级和计算机二级，结果我考过了；工作后我对自己说我一定能一次性考过中级会计职称，结果我也考过了（三科平均分87）。我不是学霸，面对注会考试，我果断放弃，因为我知道我考不过。

可是面对女人，我却非常自卑，从不撩。我今年36岁了，从不敢和女人对视。自信源自什么呢？