客户对数据没有意见,对生产数据的速度有意见了,认为我们的效率太低了,都不够他们一天训练用的数据量。
今天用了phantomJS来尝试换一种更高效的数据抓取方式,代码还没有写完进行测试,cookie是绕不开的大问题,weibo对数据访问接口又做了新的限制,代理IP池还剩下20几个,又要买一批了!太烦躁了
PS:又流了一次血,虽然几滴。。。。。
又交了1000多数据给客户客户对数据没有意见,对生产数据的速度有意见了,认为我们的效率太低了,都不够他们一天训练用的数据量。
今天用了phantomJS来尝试换一种更高效的数据抓取方式,代码还没有写完进行测试,cookie是绕不开的大问题,weibo对数据访问接口又做了新的限制,代理IP池还剩下20几个,又要买一批了!太烦躁了
PS:又流了一次血,虽然几滴。。。。。
又交了1000多数据给客户本文标题:又交了1000多数据给客户
本文链接:https://www.haomeiwen.com/subject/embeextx.html
网友评论