RQL's Blog

linux任务投递系统

Wed, 10 Jul 2024 00:00:00 +0000

sge任务调度系统
sbatch任务投递系统

sge任务调度系统

任务状态：
qw 表示等待状态
Eqw 投递任务出错
r 表示任务正在运行
dr 节点挂了之后，删除任务就会出现这个状态，只有节点重启之后，任务才会消失 qdel -u username ：删除某用户名下的所有任务
qstat -u \* ：查看所有用户的任务
for ((i=316893; i<=316907; i++)); do rm LW_OC.chr*.o${i}; done 删除文件

#!/bin/bash
#$ -N meth_matrix  #任务名称
#$ -pe smp  4  # 作业请求使用一个具有共享内存并行（smp）环境的计算节点，并指定作业可以使用该节点上的 4 个处理器（或核心）进行并行计算。
#$ -l mem_free=20G # 作业请求了至少 20GB 的可用内存
#$ -l vf=20G # 作业请求了 10GB 的虚拟内存
#$ -cwd # 作业将在提交时的当前工作目录中执行
#$ -j y
#$ -o ~/stdout/

虚拟内存是指系统为了扩展物理内存而使用的一种技术，通常是物理内存加上硬盘空间。这意味着即使系统中没有足够的物理内存，作业也可以通过虚拟内存来执行，但性能可能会受到影响。

sbatch任务投递系统

sbatch job.sh

sinfo # 查看资源状态
# idel为空闲，mix为节点部分核心可以使用，alloc为已被占用; 
# down表示该节点当前不可用，通常是由于硬件故障、网络问题或其他维护需要。节点处于这种状态时，无法分配给新的作业。

squeue # 查看作业队列

scancel 123 # 取消作业ID为123的作业
scancel -t PENDING -u `whoami` # 取消自己账号下所有状态为pending的作用

job.sh的脚本可以这样编写

#!/bin/bash
#SBATCH -J job.$sample # 作业名
#SBATCH -o job.$sample.%j.out 
#SBATCH --exclude=node8
#SBATCH --nodes=5
#SBATCH --ntasks-per-node=20
#SBATCH --cpus-per-task=1
#SBATCH --mem=6G

mpirun -np 100 python test.py

根据行政区划mask数据

Mon, 29 Aug 2022 00:00:00 +0000

ncl
python
参考

shapefile，是美国环境系统研究所公司（ESRI）开发的空间数据开放格式，用于描述几何体对象：点、折线与多边形。可以存储井、河流、湖泊等空间对象的几何位置。除了几何位置，shp文件也可以存储这些空间对象的属性，例如河流的名字、城市的温度等等。 Shapefile文件指的是一种文件存储的方法，实际上该种文件格式是由多个文件组成的。其中三个文件必不可少（”.shp”, “.shx”与 “.dbf”）。表示同一数据的一组文件其文件名前缀应该相同。其中“真正”的Shapefile的后缀为shp，然而仅有这个文件数据是不完整的，必须要把其他两个附带上才能构成一组完整的地理数据。所有文件必须位于同一目录之中。

.shp — 图形格式，用于保存元素的几何实体。
.shx — 图形索引格式。几何体位置索引，记录每一个几何体在shp文件之中的位置，能够加快向前或向后搜索一个几何体的效率。
.dbf — 属性数据格式，以dBase III+ 的数据表格式存储每个几何形状的属性数据。

ncl

ncl可以用addfile读取shp文件，示例如下

	river                          = True
    river@gsLineThicknessF         = mp_thick+1.0
    river@gsLineColor              = "black"
	plotrv = gsn_add_shapefile_polylines(wks,plot,"/home/river.nc",river)

load "./shapefile_utils.ncl"
begin
  print_shapefile_info("gadm36_CHN_2.shp") #
  plot_shapefile("gadm36_CHN_2.shp") #

  f = addfile("gadm36_CHN_2.shp", "r")   ; Open shapefile
  segments = f->segments
  geometry = f->geometry
  segsDims = dimsizes(segments) ;2D
  geomDims = dimsizes(geometry) ;2D

  geom_segIndex = f@geom_segIndex ;=0
  geom_numSegs  = f@geom_numSegs  ;=1
  segs_xyzIndex = f@segs_xyzIndex ;=0
  segs_numPnts  = f@segs_numPnts  ;=1

  lines       = new(segsDims(0),graphic)   ; Array to hold polygons
  numFeatures = geomDims(0) ;=dimsizes(NAME_0)

  lon   = f->x
  lat   = f->y
  name  = f->NAME_2

  segNum = 0
  do i=0, numFeatures-1  
     startSegment = geometry(i, geom_segIndex)
     numSegments  = geometry(i, geom_numSegs)
     print(name(i)+" startSegment:"+startSegment+" numSegments:"+numSegments)
     do seg=startSegment, startSegment+numSegments-1
        startPT = segments(seg, segs_xyzIndex)
        endPT = startPT + segments(seg, segs_numPnts) - 1
        print("startPT:"+startPT+" endPT:"+endPT) 
        ;+" lon(startPT:endPT):"+lon(startPT:endPT)+"lat(startPT:endPT):"+lat(startPT:endPT))
        segNum = segNum + 1
     end do
  end do
end

python

有一个叫regionmask的程序包，可以实现该功能。其函数介绍页面 https://regionmask.readthedocs.io/en/stable/api.html

import cmaps, regionmask
import geopandas as gpd

ds = xr.open_dataset('~/data/t2m.nc')
var = ds['t2m'] # 三维数组

shp_file = '~/data/gadm36_CHN_0.shp'
shpf = gpd.read_file(shp_file) 
mask = regionmask.mask_geopandas(shpf, ds)
var = var.where(mask==0.0).mean(('lat','lon')) # 虽然var和mask的维数不同，但不影响
# ds也可以换成var，只要是包含经纬度信息的xarray数据就可以
# 且默认ds中经纬度名字为lat，lon，若不是，需要指定，此时语法是
mask = regionmask.mask_geopandas(shpf, ds, 'longitude', 'latitude')
# 也可以在shpf后直接跟lon和lat数组,且该数组可以是一维或二维，可以是xarray或array
mask = regionmask.mask_geopandas(shpf, ds['longitude'], ds['latitude'])
# 无论哪种方法，都只返回一个二维数组xarray.DataArray mask，其中不位于shp_file定义的区域内的格点为nan
# 由于此处shp_file只定义了一个区域，所以在区域中的格点为0
# 若shp_file有多个区域，则mask中的值从0-len(区域)

# regionmask中已包含了许多常见的区域划分，可直接调用，不需要使用shapefile
# natural_earth_v5_0_0.countries_110中包含177个区域，其中China的编号是139
region = regionmask.defined_regions.natural_earth_v5_0_0.countries_110
mask = region.mask(var) #输入经纬度信息的方法和返回数组信息同regionmask.mask_geopandas
var = var.where(mask==139)

参考

https://zh.m.wikipedia.org/zh-hans/Shapefile
https://www.ncl.ucar.edu/Applications/shapefiles.shtml
https://regionmask.readthedocs.io/en/stable/notebooks/geopandas.html

python中的nan和inf

Tue, 26 Jul 2022 00:00:00 +0000

运算函数
设置缺测 masking

nan: not a number
inf: 无穷大 xarray的DataArray的求和求平均函数会自动忽略 nan。但若有 inf，则求和与求平均的结果都是 inf。
numpy中大多数函数都不会忽略 nan 和 inf。若数组中有 nan 和 inf, 求和求平均的结果都是 nan or inf。举例如下

运算函数

a = np.array([1,2,3,np.nan,4,5])
print('%f, %f'%(a.min(),a.max())) # 结果为 nan，nan
print('%f, %f'%(np.nanmin(a),np.nanmax(a))) # 结果为1，5
print('%f, %f'%(a.sum(),a.mean())) # 结果也是 nan，nan
print('%f, %f'%(np.nansum(a),np.nanmean(a))) # 结果为 15， 3

a = np.array([1,2,np.nan,np.inf,4,5])
print('%f, %f'%(a.min(),a.max())) # 结果为 nan，nan
print('%f, %f'%(np.nanmin(a),np.nanmax(a))) # 结果 1, inf
print('%f, %f'%(a.sum(),a.mean())) # 结果 nan，nan
print('%f, %f'%(np.nansum(a),np.nanmean(a))) # 结果 inf， inf

a = np.array([1,2,3,6,4,5])
a = np.ma.array(a,mask=(a==5)) # 结果 [1.0 2.0 3.0 6.0 4.0 --]
print('%f, %f'%(a.sum(),a.mean())) # 结果 16.000000, 3.200000
print('%f, %f'%(np.nansum(a),np.nanmean(a))) # 结果同上

# 使用scipy.stats.计算相关系数时，不能有缺测存在，因此需要替换缺测  
# 可以自己指定将nan，np.inf替换为某个具体数值，或者使用默认的数值  
new = np.nan_to_num(a, nan=0, posinf=999, neginf=-999)

np.sqrt(a), 若a是实数且a中有负数，则负数的计算值为nan，若a是复数且有负数，则负数的计算结果为复数

设置缺测 masking

a = np.array([1,2,np.nan,np.inf,4,5])
b = np.ma.array(a,mask=(a==4))
# 得到的b是
# masked_array(data=[1.0, 2.0, nan, inf, --, 5.0],
#             mask=[False, False, False, False,  True, False],
#       fill_value=1e+20)


da = xr.DataArray(np.arange(16).reshape(4, 4), dims=["x", "y"])
da.where(da.x + da.y < 4) # 保留满足条件的变量，未满足条件的变量设为nan
# da.where(da.x + da.y < 4，0)，会将未满足条件的变量设为0
# output is 
# <xarray.DataArray (x: 4, y: 4)>
# array([[ 0.,  1.,  2.,  3.],
#        [ 4.,  5.,  6., nan],
#        [ 8.,  9., nan, nan],
#        [12., nan, nan, nan]])
# Dimensions without coordinates: x, y

reference count问题

Mon, 25 Jul 2022 00:00:00 +0000

最近发现 python 一个非常操蛋的内存存储问题，好像叫 reference count，一不留心就容易计算失误。

import numpy as np
def diff(a):
    b=a 
    b[1:4]=a[1:4]-a[2:]
    return b
a=np.array([0,2,1,3,4])
c=diff(a)
print(a) # array([ 0,  1, -2, -1,  4])
print(c) # array([ 0,  1, -2, -1,  4])

可以看到变量a也发生了变化。问题在于b=a这个命令在python中不属于赋值，只是为a多增加了一个索引，a和b都指向同一个内存地址。因此改变b的同时，a也会发生变化。 b=a[0:2]numpy数组的切片赋值也存在类似的问题。但列表的切片赋值不存在这个问题。避免这个问题的解决方法是b=a.copy()。或者a进行简单运算后再赋值给b，此时a与b指向不同的内存地址，如下例所示。

b=a/1.0 # 
b[0]=2
print(b) # array([ 2.,  1., -2., -1.,  4.])
print(a) # array([ 0,  1, -2, -1,  4])

xarray中也存在类似的问题，解决方法b=foo[1:4].data.copy()。

import xarray as xr
a=np.array([0,2,1,3,4])
foo = xr.DataArray(a, dims=["time"])

b=foo[1:4].data
b[0]=10

print(foo) # foo也发生了变化
# <xarray.DataArray (time: 5)>
# array([ 0, 10,  1,  3,  4])
# Dimensions without coordinates: time

print(b)
# [10  1  3]

数组矩阵

Sat, 25 Jun 2022 00:00:00 +0000

创建数组
数据类型转换
数学运算
逻辑运算
文本文件操作

numpy主要用于数组与矩阵运算，主要数据结构就是N维同类型数组array，可以用array.shape, array.dtype查看数组结构和类型

创建数组

a = np.array([1,2,3],dtype=float)   
b = np.zeros(a.shape)  
c = np.zeros( [len(lev),len(behv),len(months),len(year)],dtype=float )
x = np.arange(6).reshape(2,3) + 10
# 得到数组 array([[10, 11, 12],[13, 14, 15]])


ind = np.argwhere(x>11)
# 得到一个二维数组，表示满足条件的位置坐标
# array([[0, 2],[1, 0],[1, 1],[1, 2]])
# 此时 x[ind[:,0],ind[:,1]] 为 array([12, 13, 14, 15])


ind = np.unravel_index(np.argmax(x, axis=None), x.shape)
# 得到的ind 为（1，2), x[ind] = 15
# 若直接 np.argmax(x, axis=None)，得到的结果是5
# 若 np.argmax(x, axis=0),得到的结果 array([1, 1, 1])

数据类型转换

numpy数组中的所有元素都必须是同一个类型，无法像pandas.dataframe那样可以一列是字符串，一列是bool值，一列是浮点数。若提取有多种数据类型的pandas.dataframe.values为numpy.array时，数据类型会变为 Object。

dat[:,0].tolist() # 转换为列表
data[:,1:].astype(np.float16) # 将Object类型转换为浮点数类型

数学运算

两个不同维度的数组（a/b）相除，只有当b的维数与a的最后几个维数相等时才可以相除

a=np.arange(24).reshape((4, 3, 2))
b=np.arange(6).reshape((3, 2))
print(a/b) 
#array([[[ nan,  1. ],[ 1. ,  1. ],[ 1. ,  1. ]],
#       [[ inf,  7. ],[ 4. ,  3. ],[ 2.5,  2.2]],
#       [[ inf, 13. ],[ 7. ,  5. ],[ 4. ,  3.4]],
#       [[ inf, 19. ],[10. ,  7. ],[ 5.5,  4.6]]])
#

b=np.array([1,2,3,4])
c=a/b # 报错
# ValueError: operands could not be broadcast together with shapes (4,3,2) (4,)

# 此时可以将a中的第一维度移动到最后，这样就可以和b相除
c = np.moveaxis(a,0,-1)/b # c.shape 等于 (3, 2, 4)
d = np.moveaxis(c,-1,0)   # d.shape 等于 (4, 3, 2)

# 也可以将b变成和a一样维数的数组，然后再相除，得到的结果一样
d = a/np.broadcast_to(b.reshape(4, 1, 1), a.shape)

逻辑运算

a=np.array([tim3.time.dt.year.isin(1990),tim3.time.dt.month.isin(2)])
print(a)
print(a.all(axis=0))
# output:
#[[ True  True False]
# [False  True False]]
#
#[False  True False]


new = np.where(a<5, a, 10*a)
# 原数组为 array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
# 新数组为 array([0, 1, 2, 3, 4, 50, 60, 70, 80, 90])])

a = xr.DataArray(np.arange(25).reshape(5, 5), dims=("x", "y"))
new = xr.where(a<5, a, 10*a) # 用法通np.where

# 但 xarray.DataArray.where 的用法和 xr.where 不同
a.where(a.x + a.y < 5, -1) # 将不满足条件的值设为-1，若不给定，则会设为缺测
a.where(a.x + a.y < 5, drop=True) # 将不满足条件的值设为缺测，并删去都是缺测的列或行
# a.x + a.y < 5返回逻辑数组，因此也可以用 a.x.isin([2,3]) 代替

# numpy 也有 isin的用法，但格式和 xarray 不一样
b = np.array([range(5,15,1),range(0,10,1)])
mask = np.isin(b, range(5,10))
# mask是一个shape同b的逻辑数组，
# b[mask]可以得到 array([5, 6, 7, 8, 9, 5, 6, 7, 8, 9])
mask_invert = np.isin(b, range(5,10), invert=True)
# mask_invert是mask的逻辑反面，即mask为True的地方，mask_invert为False

np.isnan(matrix).any() # 判断数组中是否存在缺测

文本文件操作

numpy.savetxt(fname,X,fmt='%.18e')
# 第一个参数为文件名，第二个参数为需要存的数组（一维或者二维）
# 数组的第一个维度变为行，第二个维度变为列
# 这个写入功能用得比较少，感觉没有python自带的写入功能好用
# 详情可参考 https://renqlsysu.github.io/2021/10/04/python_file/

data = numpy.loadtxt(fname,dtype=<class 'float'>, 
	comments='#', delimiter=None, usecols = (0,1))
# 将数据读出为array类型，若文件有ny行，nx列，得到的数组维度是(ny,nx)
# 可以用skiprows跳过前几行，用usecols指定读取的列（从0列开始）

Matplotlib colormap

Thu, 23 Jun 2022 00:00:00 +0000

已定义色标
自定义色标
Colormap Normalization

已定义色标

Matplotlib有很多自带的色标，但感觉都比较丑，作为用惯ncl的人，还是觉得ncl的色标比较舒适，因此网上有大神写了一个ncl色标的python库cmaps。

from matplotlib import cm
import cmaps

ncmap  = cm.viridis # <matplotlib.colors.ListedColormap object at 0x2b6b1578b550>
ncmap  = cm.get_cmap('viridis',17) # 从viridis中取出17个颜色，此时ncmap.N是17
ncolor = cm.viridis.N #会现实该色标的颜色数量，256

ncmap = cmaps.precip3_16lev # <cmaps.colormap.Colormap object at 0x2b6b0abdceb0>，
# 也可以用ncmap.N统计其颜色数量，该色标有17个颜色
# cmaps.BlueDarkRed18.N的颜色有18个颜色

#可以通过以下方法获得colormap的RGBA值，一个Nx4的array数组，N是该colormap的颜色数量，4代表各个颜色的RGBA值
data = ncmap.colors 
data = ncmap(range(8)) #取前8个颜色
data = ncmap(np.linspace(0, 1, 8)) #显示线性插值的8个颜色

自定义色标

from matplotlib.colors import ListedColormap
ncmap = ListedColormap(["blue","green","red"])


# 合并两个色标
newcolors = np.vstack((cm.Oranges_r(np.linspace(0, 1, 128)),
                       cm.Blues(np.linspace(0, 1, 128))))
newcmp = ListedColormap(newcolors, name='OrangeBlue')


# 将已定义的色标转置
ncmap = ListedColormap(cmaps.precip3_16lev(range(0,17,1))[::-1])


# 获得较为稀疏的已定义坐标
ncmap  = cm.get_cmap('viridis',17) # matplotlib自带的colormap可以这样操作
ncmap = ListedColormap(cmaps.GMT_globe(range(0,209,3)))


# 替换已定义色标中的某一颜色
newcolors = cm.viridis(np.linspace(0, 1, 256))
pink = np.array([248/256, 24/256, 148/256, 1])
newcolors[:25, :] = pink
newcmp = ListedColormap(newcolors)

Colormap Normalization

# 将值线性分布到colormap上
pcm = ax.pcolormesh(x, y, Z, vmin=-1., vmax=1., cmap='RdBu_r')


# 将值对数分布到colormap上
pcm = ax[0].pcolor(X, Y, Z,
                   norm=colors.LogNorm(vmin=Z.min(), vmax=Z.max()),
                   cmap=cmaps.BlueDarkRed18, shading='auto')


# 将值线性分布到colormap上，同时vcenter的值将位于colormap中间
pc = ax2.pcolormesh(Z, norm=colors.CenteredNorm(vcenter=0), cmap=cm.coolwarm)


# 定义离散的colormap值
# 一般我会将ncolors设为len(bounds)+1,但看这个例子好像ncolors只要大于len(bounds)就可以
import matplotlib.colors as colors
bounds = np.array([-0.2, -0.1, 0, 0.5, 1])
norm = colors.BoundaryNorm(boundaries=bounds, ncolors=cm.viridis.N, extend='both')
pcm = ax[2].pcolormesh(X, Y, Z, norm=norm, cmap=cm.viridis)


# 使值在colormap中间两侧的值的变化率不同
# make a colormap that has land and ocean clearly delineated and of the
# same length (256 + 256)
colors_undersea = plt.cm.terrain(np.linspace(0, 0.17, 256))
colors_land = plt.cm.terrain(np.linspace(0.25, 1, 256))
all_colors = np.vstack((colors_undersea, colors_land))
terrain_map = colors.LinearSegmentedColormap.from_list(
    'terrain_map', all_colors)

# make the norm:  Note the center is offset so that the land has more
# dynamic range:
divnorm = colors.TwoSlopeNorm(vmin=-500., vcenter=0, vmax=4000)

pcm = ax.pcolormesh(longitude, latitude, topo, rasterized=True, norm=divnorm,
                    cmap=terrain_map, shading='auto')

cb = fig.colorbar(pcm, shrink=0.6)
cb.set_ticks([-500, 0, 1000, 2000, 3000, 4000])

参考：

https://matplotlib.org/stable/tutorials/colors/colormaps.html#overview
https://matplotlib.org/stable/tutorials/colors/colormap-manipulation.html#sphx-glr-tutorials-colors-colormap-manipulation-py
https://matplotlib.org/stable/tutorials/colors/colormapnorms.html
https://matplotlib.org/stable/tutorials/colors/colorbar_only.html

全球大气再分析资料

Tue, 21 Jun 2022 00:00:00 +0000

CFSR
JRA55
MERRA2
ERA5
CRA40
参考文献

目前国际上使用的大气再分析资料已经历了多次迭代，除了以往被人们所熟知的NCEP1、NCEP2、ERA-interim，现在又出现了以下几个高分辨率的新品种（按发布顺序）。

CFSR

NCEP（National Center for Environmental Prediction）于2010年发布的第3代全球再分析资料，全称Climate Forecast System Reanalysis，使用Coupled Forecast System (CFS) model，a coupled atmosphere–ocean–sea ice–land model, assimilates conventional observations and satellite radiance, and includes the time evolution of CO2 concentrations. 空间分辨率T382，约38km，垂直64层，使用GSI 3DVAR同化方法。逐6h数据下载：https://rda.ucar.edu/datasets/ds093.0/#!description

JRA55

日本气象厅（Japanese Meteorological Agency）2013年发布的第二代再分析数据，基于全球谱模式JMA2002，水平分辨率T319（差不多0.5°分辨率），垂直60层，4D-Var semi-Lagrangian assimilation schemes with Variational Bias Correction (VarBC) for satellite radiances，采用新的辐射方案，引入随时间变化的温室气体浓度。有逐3h，逐6h。数据下载地址：https://rda.ucar.edu/datasets/ds628.0/
日本气象厅的官网介绍：https://jra.kishou.go.jp/JRA-55/index_en.html

MERRA2

Modern-Era Retrospective analysis for Research and Applications, version 2 (MERRA-2)由 National Aeronautics and Space Administration (NASA) Global Modeling and Assimilation Office (GMAO)于2015年发布，基于Goddard Earth Observing System Model, Version 5 (GEOS-5) data assimilation system，时间跨度为1980至现在，分辨率 0.5lat x 0.625lon，垂直72层，有逐小时，逐3h，逐6h。存在的缺陷：极低海域降水太大，热带区域山地降水偏多数据官网介绍： https://gmao.gsfc.nasa.gov/reanalysis/MERRA-2/data_access/

ERA5

欧洲中期天气预报中心（European Centre for Medium-range Weather Forecasts，ECMWF）于2020年发布的、逐小时、31km水平分辨率的第五代再分析资料

CRA40

我国国家气象信息中心于2021年5月发布的、逐6小时、 34km水平分辨率的我国第一代全球大气和陆面再分析产品（CRA），下载网址 https://data.cma.cn/data/cdcdetail/dataCode/NAFP_CRA40_FTM_6HOR.html，但感觉下载不是很方便，需要注册一个国家气象科学数据中心的教育科研实名注册用户（需要上传省部级以上的科研项目书）。但气象局内部的人下载可能会方便一些。我国的该项目启动于2014年，历时6年研制。基于Global System Model (GSM) of the Global Forecast System (GFS) of NCEP and its Gridpoint Statistical Interpolation (GSI) 3DVAR data assimilation system，同化了多种传统观测和卫星观测数据，尤其是东亚。根据使用过的人反馈，质量比NCEP1好。但和ERA5及JRA55没有做过详细对比。

参考文献

Li, C., T. Zhao, C. Shi, and Z. Liu, 2021: Assessment of precipitation from the CRA40 dataset and new generation reanalysis datasets in the global domain. Int. J. Climatol., 41, 5243–5263.
Yu, X., L. Zhang, T. Zhou, and J. Liu, 2021: The Asian subtropical westerly jet stream in CRA-40, ERA5, and CFSR reanalysis data: Comparative assessment. J. Meteorol. Res., 35, 46–63.

python的主要结构

Sat, 12 Mar 2022 00:00:00 +0000

python数据结构
python输入输出
python运算
python的条件判断语句
几种python的循环语句
python 自定义函数
python读取nc文件

python数据结构

Python有五个标准的数据类型：Numbers（数字），String（字符串），List（列表），Tuple（元组），Dictionary（字典）

# 列表是写在方括号 [] 之间、用逗号分隔开的元素列表
list = [ 'abcd', 786 , 2.23, [1,2,3]]
tinylist = [123, 'runoob']
list2 = [i for i in range(30) if i % 3 == 0]
# 得到列表 [0, 3, 6, 9, 12, 15, 18, 21, 24, 27]

names = ['Bob','Tom','alice','Jerry','Wendy','Smith']
new_names = [name.upper()for name in names if len(name)>3]
# 得到列表 ['ALICE', 'JERRY', 'WENDY', 'SMITH']

print (len(list))       # 列表元素个数
print (list[3][0])      # 嵌套列表索引
print (list[1:3])       # 从第二个开始输出到第三个元素
print (list[2:])        # 输出从第三个元素开始的所有元素
print (list[-1::-1])    # 翻转列表
print (tinylist * 2)    # 输出两次列表
print (list + tinylist) # 连接列表

元组与列表类似，但元组的元素不能修改。
元组写在小括号 () 里，元素之间用逗号隔开
元组的索引及切片方式同list

# 字典用 {} 标识，它是一个无序的 键(key) : 值(value) 的集合
# 同一个字典中，键(key)必须是唯一且不可变的，因此数字，字符串或元组都可作为键，但列表不行。
dict1 = {}
dict1['one'] = "1 - 菜鸟教程"
dict1[2]     = "2 - 菜鸟工具"

tinydict = {'name': 'runoob','code':1, 'site': 'www.runoob.com'}

dict2 = {x: x**2 for x in (2, 4, 6)} 
# 得到的字典为{2: 4, 4: 16, 6: 36}

print (len(dict2))        # 计算字典元素个数，即键的总数。
print (dict['one'])       # 输出键为 'one' 的值
print (tinydict.keys())   # 输出所有键
print (tinydict.values()) # 输出所有值
del tinydict['Name'] # 删除键 'Name'
tinydict.clear()     # 清空字典

python输入输出

python列表和元组顺序也是从0开始的

a=input("please input password")
print("password you input is ",password)
print(type(a)) # input variable is usually str

b=int(a)
print(type(b))  

a=2
b='casename'
print('%s month is %03d'%(b,a))
# 格式化输出结果：casename month is 002

python运算

python中除号用/表示，但是和C语言不同的是/得到的值总是浮点数，例如：5 / 5结果是1.0。 python中整除用//表示是，//表示两数相除，向下取整，例如8 // 5 结果是1,，至于数据类型是整数还是浮点数则取决于用到的数据类型。

python的条件判断语句

不管是条件语句还是循环，命令最后都有冒号。

if a == 0 and b != 14:
	b = b+a
elif not a <= -1:
	b = b-a
else:
	b = b*a
	
list1 = ['a','b','coin']
if 'a' in list1:
	print('you are right')
	

几种python的循环语句

for i in range(-1,-10,-4):  
	print("Number of cycles: %d"%i)  
# 输出结果：
# Number of cycles: -1
# Number of cycles: -5
# Number of cycles: -9

name = 'chengdu'  
for i in name:
	print(i,end='\t') 
# '\t'是转义字符，表示水平制表符，即 Tab 键，一般相当于四个空格
# 输出结果：c	h	 e	n	 g	d	 u

b = [np.arange(d-lagh,d+lagh+1) for d in range(2,10,3)]
# 列表生成式

coins = ["Bitcoin", "Ethereum", "Cardano"]
prices = [48000,2585,2]
for coin, price in zip(coins, prices):
    print(f"${price} for 1 {coin}")

for i, coin in enumerate(coins):
    price = prices[i]
    print(f"${price} for 1 {coin}")

i = 0
while i < 5 :
	print('cycle time now : %d, i = %d'%(i+1,i))
	i += 1
else : 
	print('cycle end, now i = %d'%i)

break语句跳出 for 和 while 的循环体
continue 跳过当前循环，直接进行下一轮循环
pass 是空语句，一般用作占位语句，不做任何事情

python 自定义函数

除了正常定义的位置参数（也就是必选参数）外，还可以使用默认参数、可变参数（传入的参数个数可变）和关键字参数，使得函数定义出来的接口，不但能处理复杂的参数，还可以简化调用者的代码。 https://www.liaoxuefeng.com/wiki/1016959663602400/1017261630425888

python读取nc文件

import netCDF4 as nc   
f=nc.Dataset("/home/users/qd201969/ERA5-1HR/stat_apr-sep1979-2019.nc") # best to use absolute path  
f.variables.keys() # get the list of the variables   

a=f.variables['mstr'] # get the data and vari info  
a=f.variables['mstr'][:] # only get the data  
lat=f.variables['latitude'][:]  
lon=f.variables['longitude'][:]

indx=np.argwhere((lon<100) & (lon>10))
indy=np.argwhere((lat<50) & (lat>10))   

从xarray走向netCDF处理: https://www.jianshu.com/p/86f02bc58265

import xarray as xr
f = xr.open_dataset('EC-Interim_monthly_2018.nc') 

a=f['mstr'] # get the data and vari info
a=f.mstr    # two method to read the variable

b=a.loc[84.86:90,352.5:360] # use lat and lon read data
c=b.mean(dim=['lon','lat'])  

cdo常用命令

Tue, 08 Mar 2022 00:00:00 +0000

数据转换
数据合并
数据提取
数学运算
数据信息查看

CDO, climate data operator的缩写。提供了600多个常见的操作，能快速处理nc、grid等常见数据. 常见的功能包括：

数据的提取合并(提取特定时间、空间、经纬度等等)
数据的简单运算(加减乘除、方差、均方差、和、最值、滑动均值、滑动方差、滑动最值、区域平均、区域方差、区域最值等等)
数据的统计运算(相关、线性回归、EOF、滤波、水平插值、垂直插值等等)
数据的转换(binary转nc、HDF转nc等等)
各种气候指数的运算(极端有关的指数等等)

参考：https://blog.sciencenet.cn/blog-1081898-1275862.html

数据转换

转换数据类型或者转换文件类型

cdo -b F64 copy input.nc output.nc
# 将input.nc文件中的变量转换为 double，并另存为output.nc。如果不加F，则是将所有变量转换为double。加F则只是将floating data转为double

cdo -f nc copy input.grib output.nc
# 将grib文件转换为nc文件

数据合并

cdo -r -copy ff_stat_[1-9].nc ff_stat_1[0-2].nc outfilename
# 每月数据放在一个文件中，将1-12月共12个文件合并，-r表示合并后添加时间维，拼接后原始文件依然存在

cdo -cat uwind.1985-07.daily.nc uwind.1985-08.daily.nc outfilename
# 将两个文件中的变量按原有的时间维拼接，拼接后，原始文件依然存在
# 当输入文件过大且变量为short变量时，容易产生报错，解决方法是改用以下的代码，将short变量转换为float，-mergetime的作用等同于-cat
cdo -b F32 -mergetime ERA5_precip_1980-[1-9].nc ERA5_precip_1980-1[0-2].nc ERA5_precip_1hr_dec-jan1980.nc

数据提取

cdo selmonth,1 ERA5_NH_z_1981.nc ERA5_NH_z_1981-01.nc
# 提取一个月的数据，注意选项与参数间的逗号

cdo sellevel,850 ERA5_NH_z_1981.nc ERA5_NH_850z_1981.nc
# 提取某个高度的数据，注意选项与参数间的逗号

数学运算

cdo expr,’speed=sqrt(sqr(uwnd)+sqr(vwnd));var2=ts-273.15;’ infile outfile
# infile中有变量uwnd，vwnd，ts。由这三个变量计算新变量并存储入 outfile

数据信息查看

除了处理数据外，cdo也能快速查看 grid、nc 等数据文件信息，常用参数有：

cdo sinfon ERA5_wind10_2016.grib #输出数据文件的简短信息

参考自：https://cloud.tencent.com/developer/article/1618318

Xarray用法

Wed, 02 Mar 2022 00:00:00 +0000

DataArray数组创建
Dataset数组创建
indexing, isin and groupby
读取多个nc文件
读取grib数据
Masking
apply_ufunc批量处理多维数组

dimension:维度
coordinate：坐标
一个维度可以被赋予多个坐标，因此一般坐标数量多于纬度数

DataArray数组创建

data = np.random.rand(4, 3)
locs = ["IA", "IL", "IN"]
times = pd.date_range("2000-01-01", periods=4)
foo = xr.DataArray(data, coords=[times, locs], dims=["time", "space"])
foo = xr.DataArray(data, coords=[("time", times), ("space", locs)])
foo.attrs['units']='mm/day' # 修改或创建数据属性参数
del foo.attrs['projection'] # 删去某个属性
foo.drop('time',dim=None) # 删去time维对应的坐标，但保留维度
foo.rename({'dayofyear':'time'}) # 修改某个纬度的名字
foo.coords['time'] = times # 修改某个维度的坐标

foo.dtype # dtype('float32')
foo.dims # ('time', 'space')
var.shape # (10248, 1, 256, 512)
var.min()

Dataset数组创建

temp = 15 + 8 * np.random.randn(2, 2, 3)
precip = 10 * np.random.rand(2, 2, 3)
lon = [[-99.83, -99.32], [-99.79, -99.23]]
lat = [[42.25, 42.21], [42.63, 42.59]]
ds = xr.Dataset(
	{
	       "temperature": (["x", "y", "time"], temp),
               "precipitation": (["x", "y", "time"], precip),
	},
	coords={
		"lon": (["x", "y"], lon),
                "lat": (["x", "y"], lat),
                "time": pd.date_range("2014-09-06", periods=3),
                "reference_time": pd.Timestamp("2014-09-05"),
	},
)

# Dictionary like methods to update a dataset 
ds = xr.Dataset()
ds["temperature"] = (("x", "y", "time"), temp)
ds["temperature_double"] = (("x", "y", "time"), temp * 2)
ds["precipitation"] = (("x", "y", "time"), precip)
ds.coords["lat"] = (("x", "y"), lat)
ds.coords["lon"] = (("x", "y"), lon)
ds.coords["time"] = pd.date_range("2014-09-06", periods=3)
ds.coords["reference_time"] = pd.Timestamp("2014-09-05")

ds = da.to_dataset(name="temp") #将da这个DataArray加入到ds这个数据组中，并命名为 temp
ds.to_netcdf(fileout+varname+".nc","w") #存储ds文件

# the use of pipe
plt.plot((2 * ds.temperature.sel(x=0)).mean("y"))
(ds.temperature.sel(x=0).pipe(lambda x: 2 * x).mean("y").pipe(plt.plot))

To remove a dimension or a variable, you can use below method, which will return a new dataset. Any variables using that dimension are dropped:

ds_new = ds.drop_vars("temperature")
ds_new = ds.drop_dims("time")

ds_new.coords['month']=range(1,13,1) # add a new dimension

indexing, isin and groupby

import xarray as xr
import numpy as np
lonl=0  
lonr=150
lats=15 
latn=70

ds  = xr.open_dataset("ERA5_precip_1hr_dec-jan1989.nc")
lat = ds.latitude
lon = ds.longitude
ilon = lon[(lon>=lonl) & (lon<=lonr)]
ilat = lat[(lat>=lats) & (lat<=latn)]
term = ds['tp'][0,:,:]
term = ds['tp'].sel(time=ds.time.dt.year.isin(1989),longitude=ilon,latitude=ilat)
# <xarray.DataArray 'tp' (time: 8760, latitude: 221, longitude: 601)>
term.mean(('latitude','latitude'))

term.sel(time=slice("2000-01-01", "2000-01-02"))
var = term.sel(time=term.time.dt.month.isin(1)).mean("time")
term.loc[ct,:,:] = term.sel(time=ct).mean('time')
# loc是定位，sel是截取部分变量

# calculate monthly data
var = term.groupby(term.time.dt.month)
# DataArrayGroupBy, grouped over 'month'
# 12 groups with labels 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12.
print(var.sum("time"))
# <xarray.DataArray 'tp' (month: 12, latitude: 221, longitude: 601)>

ds1=ds.groupby(ds.time.dt.month).mean('time')
ds1=ds.groupby('time.month').mean('time')
ds1=da.groupby('time.dayofyear').mean('time') # 365天
ds_weighted = (ds * weights).groupby('time.season').sum(dim='time') # 'DJF' 'JJA' 'MAM' 'SON'

读取多个nc文件

fs = xr.open_mfdataset(file_string, combine='nested', concat_dim='time', parallel=True) 
# file_string 可以是一个字符串“path/to/my/files/*.nc”，也可以是文件路径列表  
# combine 有两种选项 "by_coords" 和 "nested"
# concat_dim 表示将文件沿某一维度连接，只有 combine='nested' 时需要提供这一选项。
# 若concat_dim是已存在的维度，则文件沿该维度连接，若concat_dim是不存在的维度，则文件沿新的维度连接

var = fs['temp'].data
term=[var[i:i+3,:,:].sum(axis=0) for i in range(0,25587,3)] # 得到一个list
var1 = np.array(term).reshape(8529*nlat*nlon) #转成一维数组

读取grib数据

主要依赖的库是 https://pypi.org/project/cfgrib/ ，该库可以把grib文件投影到netcdf格式。
可以搭配xarray使用，使用方法如下。可以一次读取一个文件，也可以用xr.open_mfdataset读取多个文件，其他用法同netcdf

ds = xr.open_dataset('example.grib', engine='cfgrib')
print(ds)

# 目前cfgrib库无法同时读取多个typeOfLevel，因此需要根据提示筛选我们需要的数据。
# 这个typeOfLevel可以是isobaricInhPa，surface，depth_below_land  
ds = xr.open_dataset('example.grib2', engine="cfgrib", backend_kwargs={'filter_by_keys': {'typeOfLevel': 'isobaricInhPa'}})
print(ds)

默认情景下，cfgrib会输出一个index文档（后缀为.idx），该索引文档可随时删除它们，并在出现问题时重试。当grib文件所处目录不支持写入文件时，即cfgrib无法在该目录下保存索引文档，此时便会出现如下报错信息，但该报错信息不影响grib数据的读取。也可在backend_kwargs中加入’indexpath’:’‘选项来选择不输出该索引文档，此时上述报错信息便会消失。

Can't create file '/home/metctm1/array_hq133/data/drv_fld/era5/20220803-sl.grib.923a8.idx'
Traceback (most recent call last):
  File "/home/metctm1/array/soft/anaconda3/lib/python3.8/site-packages/cfgrib/messages.py", line 343, in from_indexpath_or_filestream
    with compat_create_exclusive(indexpath) as new_index_file:
  File "/home/metctm1/array/soft/anaconda3/lib/python3.8/contextlib.py", line 113, in __enter__
    return next(self.gen)
  File "/home/metctm1/array/soft/anaconda3/lib/python3.8/site-packages/cfgrib/messages.py", line 264, in compat_create_exclusive
    fd = os.open(path, os.O_WRONLY | os.O_CREAT | os.O_EXCL)
PermissionError: [Errno 13] Permission denied: '/home/metctm1/array_hq133/data/drv_fld/era5/20220803-sl.grib.923a8.idx'
Can't read index file '/home/metctm1/array_hq133/data/drv_fld/era5/20220803-sl.grib.923a8.idx'
Traceback (most recent call last):
  File "/home/metctm1/array/soft/anaconda3/lib/python3.8/site-packages/cfgrib/messages.py", line 353, in from_indexpath_or_filestream
    index_mtime = os.path.getmtime(indexpath)
  File "/home/metctm1/array/soft/anaconda3/lib/python3.8/genericpath.py", line 55, in getmtime
    return os.stat(filename).st_mtime
FileNotFoundError: [Errno 2] No such file or directory: '/home/metctm1/array_hq133/data/drv_fld/era5/20220803-sl.grib.923a8.idx'

若要循环处理多个文件，可以先利用list来存储数据，然后再转成numpy进行数学运算

    var = []
    fn_stream = subprocess.check_output(
        'ls %s/%d07*-%s.grib'%(
        indir[0],year,suffix), shell=True).decode('utf-8')
    fn_list = fn_stream.split()

    for itm in fn_list:
        ds = xr.open_dataset(itm,engine='cfgrib',backend_kwargs={
                'filter_by_keys': {'typeOfLevel': 'surface'}})
        var.append(ds[varname].data.tolist())
	
    var = np.array(var).mean(axis=0)

Masking

da = xr.DataArray(np.arange(16).reshape(4, 4), dims=["x", "y"])
da.where(da.x + da.y < 4)
# 保留满足条件的变量，未满足条件的变量设为nan
# da.where(da.x + da.y < 4，0)，会将未满足条件的变量设为0

# output is 
# <xarray.DataArray (x: 4, y: 4)>
# array([[ 0.,  1.,  2.,  3.],
#        [ 4.,  5.,  6., nan],
#        [ 8.,  9., nan, nan],
#        [12., nan, nan, nan]])
# Dimensions without coordinates: x, y

da = xr.DataArray([1, 2, 3, 4, 5], dims=["x"])
lookup = xr.DataArray([-1, -2, -3, -4, -5], dims=["x"])
da.where(lookup.isin([-2, -4]), drop=True) # output array([2., 4.]) 
# 加 drop=True后，未满足条件的变量会被删去，数据结构发生变化
# when done repeatedly, this type of indexing is significantly slower than using sel().

apply_ufunc批量处理多维数组

from scipy import stats
def new_linregress(x, y):
    # Wrapper around scipy linregress to use in apply_ufunc
    slope, intercept, r_value, p_value, std_err = stats.linregress(x, y)
    return np.array([slope, p_value])

a1 = xr.apply_ufunc(new_linregress, t, t,
                       input_core_dims=[['time'], ['time']],
                       output_core_dims=[["parameter"]],
                       vectorize=True,
                       dask="parallelized",
                       output_dtypes=['float64'],
                      )
# dimension of t is (time: 10248, lat: 3, lon: 4)
# a1 is (lat: 3, lon: 4, parameter: 2)

ts=np.zeros([2,3,10248],dtype=float)
locs = ['EA','NA']
month = ['DJF','MAM','JJA']
ts1 = xr.DataArray(ts, coords=[locs,month,t.time], dims=["space","month","time"])

a1 = xr.apply_ufunc(new_linregress, t, ts1,
                       input_core_dims=[['time'], ['time']],
                       output_core_dims=[["parameter"]],
                       vectorize=True,
                       dask="parallelized",
                       output_dtypes=['float64'],
                      )
# a1 is (lat: 3, lon: 4, space: 2, month: 3, parameter: 2)