- 周末公司计算系统崩了。也没想好用什么怎么进行数据处理。
- 周一和经理汇报工作时，得到了支持。适当可以申请，使用生产环境。
- 公司测试环境基本够用，180 vcores + 180G memory(一个任务30/30)
- 重新启用了之前的一个AWS的计算环境(1 vcores /1G memory/30G SSD)。网址：Rstudio
账号rstudio/密码rstudio。可以作为代码共享的环境，或者是跑超级小的非并行的demo； - 同时，所有人可以通过teamviewer访问到我在公司的笔记本（名字叫DC比赛，配置低，有点小卡），通过笔记本访问集群（10.23.208.10）进行计算
teamviewer界面
打开xshell
teamviewer.gif
-
另外，如有特殊需求，可以向我请示之后使用公司的台式机（我办公用的，所以不是一直开放的）
一般情况下我在使用
teamviewer或者AWS都可以通过移动端访问，但都是单向连接的。所以大多数情况下，你们还得再自己的IDE上试验小量数据。
tips：
- 推荐使用编辑器或者手写记录算法或试验的操作；
- 有什么问题需要演示可以录制gif或者视频；
关于本次会议：
- 理论上来讲应该在浙江嘉兴召开
- 先来定个可预期的小目标：挺进复赛
- 关于选题，50G的数据的数据量是我目前见到的最大量的比赛数据，背后的需要的计算环境，AWS上中等环境应该在$1以上。所以能排除很多人。但同时参与进来的也觉非等闲之辈，好坏参半吧，收获才是最重要的。
- 关于个人能力，大家最好再来介绍下：
- 介绍个人在 算法 / 编程 / 编辑方面的能力；更愿意承担的工作；
- 能拿出来参与比赛的时间，中间会有什么个人的重要时间节点；
以下为个人示例：
我对三个方面没有偏重，但鉴于大家对计算环境不太了解，我更倾向于承担编程方面的工作，当然是会参与算法的研究和迭代的；
基本每天晚上的9:30之后、周末的一部分时间、上班的闲暇之余均可以。
之前的工作与本次比赛可能用到的地方：
用户驾驶行为评分 / 用户画像分析 / GPS、G-sensor原始数据清洗校准 / 自动化数据报告。。。etc.
- 关于之后的开会时间提案：
会议时间为周三晚上8:30大会/周六晚上的简单进程汇报； - 队长我先来吧，后期想锻炼的同学可以来体验下。
稍后我把一些简单的数据处理操作示例给大家录gif。
我的提案：
周六晚上前，必须完成如下任务中的一项：
- 两篇强相关文献，及文献解读，可借鉴地方说明；
- 一个可复现的案例（代码、算法可复现），并说明可借鉴地方，纽约taxi的案例也行，这方面有大量素材；
- 提出自己的算法文档或流程，不需要完备。
昨天简单试验
- 上传数据
注意：
ID string,lat string,lon double,status int,stamp string
hadoop fs -mkdir /user/yyl;
hadoop fs -put /root/temp/* /user/yyl/hoho/;
#导入过程中发现缺少7、13两天数据，原因未知。
create table if not exists trip_stat_hoho (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' lines terminated by '\n' stored as textfile;
load data '/user/yyl/hoho/*' into table trip_stat_hoho;
load data inpath '/user/yyl/hoho/*' into table trip_stat_hoho;
"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")
sql(hiveContext,"create table if not exists trip_stat_hoho1 (ID string,lat string,lon double,status int,stamp string ) ROW format delimited FIELDS TERMINATED BY ',' LOCATION '/user/yyl/hoho/user'")
- 简单分析
在spark中执行了count：
除去一个放在dropbox的文件共43G
近十亿条数据
网友评论