[NCO,NCL]基础NCO、NCL命令

最近接触单柱模式，需要处理输出NC文件，即NetCDF文件(Network Common Data Format)，简单了解了NCL和NCO工具。一个NetCDF数据集包含维(dimensions)、变量(variables)和属性(attributes)三种描述类型，每种类型都会被分配一个名字和ID，这些类型共同描述了一个数据集，NetCDF库可以同时访问多个数据集，用ID来识别不同数据集。变量存储实际数据，维给出了变量维度信息，属性则给出了变量或数据集本身的辅助信息属性，又可以分为适用于整个文件的全局属性和适用于特定变量的局部属性，全局属性则描述了数据集的基本属性以及数据集的来源。
流行的处理软件有很多，对比如下：

Paste_Image.png Paste_Image.png

NCL

NCL全称为NCAR Command Language，是由美国大气研究中心（NCAR）开发的 专门用于科学资料分析与可视化的一门解释型语言。
NCL支持的数据类型包括NetCDF 3/4，GRIB 1/2, HDF 4/5，HDF-EOS 2/5， shapefile，ASCII，binary。内建了大量的分析函数。可以很方便的产生 高质量的图形并且有大量的图形源（resource）可被用于自定义图形。大量 示例脚本和相应的图形可在官网（ncl.ucar.edu）学习。

基本命令

参考资料

官网

Paste_Image.png
http://ncl.readthedocs.io/zh_CN/latest/index.html
https://blog.tianqitu.net/2011/10/22/ncl-e5-9f-ba-e6-9c-ac-e8-af-ad-e6-b3-95/
https://linux.die.net/man/1/ncrename

NCO工具

netCDF Operators (NCO) 工具用来操作和分析netCDF自描述数据存储格式。
nco 使用频率较高的两中处理方式就是average与concatenation
添加(Appending)是针对变量的。
file1 = T,U,V
file2 = P,C
file3 = T,U,V,P,C
连接(Concatenation)是针对（如：时间）维度的。
file1 = T(0-12,:,:)
file2 = T(13-24,:,:)
file3 = T(0-24,:,:)

基础命令

ncks filename | more #查看文件
ncks -v variable filename
ncrcat #将已有record集合为一个文件
ncecat#将ensemble集合为一个文件
ncra #将record取平均
ncwa#将record的某些部分取平均， -a 是去掉某些变量
ncdiff #取不同
ncea #变量取平均
ncrename #变量重命名
cdo #变量插值
ncpdq -U #变量类型转换

参考资料

官网网站http://nco.sourceforge.net/nco.html
http://bosomfriend.blog.edu.cn/home.php?mod=space&uid=1555165&do=blog&id=75336
http://hxfcalf.blog.163.com/blog/static/21575548201051191420134

实践

1. 在我的实验中只用到了几个命令
   ncrename ##rename dimensions, variables, and attributes in netCDF file.
   ncdump -h XXX.nc #查看文件结构
   ncks XXX.nc | more##查看数据内容
   ncks -H -v u -d lev,15 -d time,56,1136 ARM95_4scam.nc U850.nc ##查看搜索lev数组第15元素，time数组在56，1136标号内，变量为u的数据并输出到U850.nc文件中
   ncwa -a time,lev U850.nc -O U850.nc ##平均掉time和气压水平

2. cnl文件
   <pre>
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_code.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/gsn_csm.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/contributed.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/shea_util.ncl"
   load "$NCARG_ROOT/lib/ncarg/nclscripts/contrib/ut_string.ncl"
   begin
   ;var_names = (/"LWCF", "SWCF", "PRECT", "Q850", "T850"/)
   var_names = (/"U200","U850","V200","V850","PRECT","Q850","FLUT","FSNTOA","T850","T200","CLDHGH","CLDLOW","CLDMED","CLDTOT","PS"/)
   obs_path = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/obs"
   model_base = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/model/tune/"
   climo_path = "/home/huangxin/CSM-tunner/SCAM/cesm1_2_2/SCMtest_11111/run/metrics/climo/"

   num_vars = dimsizes(var_names)
   var_obs = new((/num_vars/), float)
   var_obs@_FillValue = 1.0e33
   var_obs = var_obs@_FillValue
   var_model = new((/num_vars/), float)
   var_model@_FillValue = 1.0e33
   var_model = var_model@_FillValue
   var_rms = new((/num_vars/), float)
   var_rms@_FillValue = 1.0e33
   var_rms = var_rms@_FillValue
   do k = 0, num_vars - 1
   obs_file = obs_path + "/" + var_names(k) +".nc"
   model_file = model_base + "tmp.nc"
   fp_obs = addfile(obs_file, "r")
   ;print(fp_obs->$var_names(k)$)
   var_obs(k) = fp_obs->$var_names(k)$(0,0)
   fp_model = addfile(model_file, "r")
   var_model(k) = fp_model ->$var_names(k)$(0,0,0)
   end do
   var_rms = (var_obs - var_model)^2
   </pre>

3. 未解决：利用bash的while循环按行读文件(如下)，每读一行处理一次ncl，但会遇到语法问题:syntax: line -1
   <pre>
   while read variable
   do
   ...
   ncl XXX.ncl
   ...
   done
   </pre>
   目前用csh来处理，或bash的其他效率低的读文件方式。