之前因为特殊原因没有休息,需要获取一些信息。
刚接到任务的时候,还以为是个简单的信息收集。等开始工作的时候,才发现要收集的东西还蛮多,更麻烦的是数据量比较大,要1000条信息。
这对没事只会某度的我来说,还真是个不可能任务。
从已知的渠道可获取的数据太少,连总数的十分之一都不到,思来想去感觉要凉凉。
但这个事,麻烦在不能撂挑子不管,于是只能硬着头皮上了。
现在回想来,有些事被逼到绝路上,反而是一件好事,因为没有时间焦虑,只剩下怎么成功和如何成功。
思路清晰比效率高更重要
其实摆在自己面前的问题是,找到足够多的数据,并把这些数据拿出来。
整理思路:
1、1000条数据,慢慢在网上找时间肯定是不够的,找非常浪费时间。
2、人手不够,只能自己解决。
3、需要的数据比较分散,使用传统的复制粘贴时间不够。
解决思路
1、需要一个能批量处理的工具
2、依靠程序解决一部分问题(电脑的速度怎么也比人快的多)
3、找到一个有足够数据的网站(找到数据源)
开始解决
因为给自己的时间其实不多,所以要想解决数据的问题,就要把时间利用好了,要不然时间浪费的越多,后面就算想加班解决,时间也会不够用。
自己曾用python写过一个简单的爬虫工具。所以准备通过python写一个程序解决,从网页上批量获取信息,理论上比手工的复制粘贴要快。
学习python编写程序,用了大概1天的时间,因为之前接触的python知识只是皮毛,所以在写爬虫的时候,问题一下问题。
1、大数据源的网站,带有反爬虫机制,绕过机制才能获取数据(获取数据要谨慎选择,因为会涉及法律风险)
2、数据分布在页面的不同位置,如何依次获取这些信息
3、将获取的信息存入excel表
4、如何让新数据自动添加到excel表的最后一行
以上4个问题是影响程序获取数据的关键问题。
现在网上资源丰富,我就根据这4个问题,到网上去查资料、教学和一些视频,分别针对这4个问题编写对应的代码,最后再组合到一起。
这样看起来蛮麻烦的程序,通过分解被分成相对简单的4个部分,最终形成了一个简单的数据获取小工具。
第二天通过编写的程序获取数据,到了下午完成了1000条数据的任务。
本来这是一个“不可能任务”。
如此多的数据,这么短时间,而且有关python知识也不够。但通过分解任务,拆分问题,最终竟然完成了。
此刻回想起来,如果一开始就认定不可能完成,并放弃了,大概生活也不会有什么变化。
但硬着头皮迎难而上,自己就没有再关注问题的难度,而是开始寻找真正的解决的办法。
试图在自己有限的经验里,寻找达成目标的路径,之后逐步验证自己的猜想。
最终这个看起来“不可能的问题”也就被慢慢的解决了。
有时候之所以没能解决某些问题,可能是因为内心想要解决问题的想法不够强烈。或许需要点破釜沉舟的勇气,才能在生活中开辟出一片新天地。
解决问题的过程,虽然是被逼着向前,内心有点抵触,但在这个过程中,确实收获了新的知识和技能。
这样的知识、技能多了,对未来总是有利的,因为人在没有具备某项能力的时候就会产生恐惧,但有了那些能力,就会感觉没什么。
所有事情都是熟能生巧的,如今遇到,想出了解决办法,下次再遇到解决起来也就轻车熟路。
一回生二回熟,遇到类似的问题,都不会慌张,头脑里会有清晰的思路,知道自己要做什么,要怎么做,会遇到什么,怎么解决。解决问题的过程看起来就感觉轻而易举。
这就是为什么有些人做事行云流水,一气呵成。
说白了还是那句老话“台上一分钟,台下十年功。”
而这里十年,并非调皮打闹的过家家,而是硬着头皮迎难而上的十年。
越是困难的地方,收获越大,越是绝境的环境,成长越快。你身边的一切都在逼你成长,只要不放弃,怎么可能不变强?
想要让自己成长的快一点,给自己找个动力,让自己没办法偷懒,用力逼自己一下。
人生没有白走的路,每一步都算数。
网友评论