在odpsdataframe上的聚合操作

• 手动业务流程创建

业务流程是周期示例，手动业务流程是手动实例，数据清洗用手动业务流程。

新建手动业务流程

编辑Pyodps节点

• 执行sql并读取：

sql =  'SELECT * FROM  data_product WHERE source="_leycloud" and  trim(title)!="" and attrs LIKE "%面料%" and attrs LIKE "%风格%"'
with odps.execute_sql(sql).open_reader() as reader:

• 打开要写入的表逐行读取

with t.open_writer() as writer:
        count = reader.count
        for i in range(count//10000):
            #print(i)
            for product in reader[10000*i:10000*(i+1)]:
                wirte_table(product,writer,category_dic,attrs_name)

• 数据处理后以列表的方式写入表

r= record.Record(schema=xj_t.schema,values =values)
        writer.write(r) 

提交节点并运行

提交节点

简单模式任务发布

简单模式项目没有任务发布的概念，如果您想要实现简单项目内的开发、生产环境隔离，仅能通过把任务克隆至用于生产的项目并执行提交来实现，即：简单模式项目（用于开发）+简单模式项目（用于生产）。

任务发布

如下图所示，用户创建的两个简单模式项目分别用于开发、生产，可以先使用 跨项目克隆将A项目中的任务克隆至B项目，再将克隆过来的任务在B项目中提交至调度引擎进行调度。

• 在odpsdataframe上采样数据分析

df_tops = t_tops.to_df()
#df_tops.groupby(df_tops.style).agg(count = df_tops.count())
sample = df_tops.sample(parts=10000)
sample.count()
sample

在pyodps可视化增强的key_word分布

• jupyter启用日志和交互增强

pip install aliyun-log-python-sdk>=0.6.43 pandas odps ipywidgets -U

1. jupyter --path
进入data的第一个目录（或者第二个也可以），
例如C:\Users\Administrator\AppData\Roaming\jupyter
在里面构建一个子目录（如果没有的话）：nbextensions

2. python -c "import odps;print(odps);"
根据输出找到odps模块所在目录，进入子目录static > ui ，例如：C:\ProgramData\Anaconda3\Lib\site-packages\odps\static\ui

3. 复制#2中的target目录到#1中，并修改target目录为pyodps
例如： C:\ProgramData\Anaconda3\Lib\site-packages\odps\static\ui\target ==> C:\Users\Administrator\AppData\Roaming\jupyter\nbextensions\pyodps

4. 启动Jupyter前验证下
jupyter nbextension enable --py --sys-prefix widgetsnbextension
jupyter nbextension enable pyodps/main