配套视频、笔记与代码

一、gen 和 replace 用法

1. 基础用法

1
2
3
4
5
6
7
8
9
** 变量生成、数值替换
gen jianyan=.         //e.g. 生成一个所有数值都是空缺值“.”的变量
replace jianyan=1     //将 jianyan 变量的所有数值都替换为 1

** 或者可以写作：
gen jianyan=1
** 分组累计求和: 根据pcode分组，对CF_gini累计求和
sort pcode CF_gini
by pcode: gen CF_gini_sum=sum(CF_gini)

2. 常见运算函数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
** 四则运算、对数、指数、幂运算
replace X=X+1      // 加法
replace X=X-1      // 减法
replace X=X*3      // 乘法
replace X=X/3      // 除法

replace X=ln(X)    // 自然对数
replace X=log10(X) // 以10为底的对数
replace X=log(X)   // 同上: 以10为底的对数

replace X=3^X      // 指数运算
replace X=exp(X)   // 自然指数
replace X=X^2      // 幂运算

** 取整函数
gen inc_ceil=ceil(income)   // 大于或等于income取值的最小整数
gen inc_floor=floor(income) // 小于或等于income取值的最大整数
gen inc_int=int(income)     // 取整函数: 个位、

gen inc_round=round(income) // 取整函数: 个位
gen inc_round=round(income,.01)  // 取整函数: 百分位
gen inc_round=round(income,7)    // 取整函数: income取值最接近的7的整数倍

** 余数函数
gen inc_mod=mod(income,2)  // 余数函数: income除以2的余数

二、egen 和 ereplace 用法

2.1 基本语法

　　egen 可以实现许多无法通过 gen 命令计算的内容，其基本语法如下：

1
egen [type] newvar = fcn(arguments) [if] [in] [, options]

　　egen 命令中运算函数 fcn 运算对象 arguments 根据使用频率可以分为三类：1. 变量 (varlist)；2. 表达式 (expression)；3. 数列 (numlist)。

　　其中，变量运算可以分为对多个样本进行运算的单变量运算函数 (varname) 和对多个变量运算的多变量运算函数 (varlist) 。表达式运算函数可以对单个变量进行运算，相当于 $1\times varname$ ，多变量运算函数也大多可以支持单变量运算。

　　by(varlist) 选项可以根据 varlist 对样本进行分组，在 egen 命令中，部分运算函数可以使用 by(varlist) 选项对样本进行分组，在每组内进行运算。

2.1.1 表达式运算函数

　　表达式运算是对不同样本的某个表达式计算值进行运算。所有表达式运算函数支持 by 选项。

　　“count”、“iqr”、“kurt”、“mad”、“max”、“min”、“mean”、“sd”、“mdev”、“median”、“pctile”、“pc”、rank、skew、std、“total”

2.1.2 单变量运算函数

　　单变量运算是对不同样本进行运算，仅有 mode 支持 by 选项。

　　“anyvalue”、cut、ends、mode

2.1.3 多变量运算函数

　　多变量运算是对不同变量进行运算，都不支持 by 选项。

　　“anycount”、“anymatch”、“concat”、diff、“group”、mtr、rowfirst、rowlast、“rowmax”、“rowmin”、“rowmean”、“rowsd”、“rowmiss”、“rownonmiss”、“rowmedian”、“rowpctile”、“rowtotal”、tag

2.1.4 数列运算函数

　　fill 不支持 by 选项，seq 支持 by 选项。

　　fill、“seq”

2.2 函数 function 和 选项 option

　　egen 命令的运算函数很多，此处忽略了部分不常用的用法。完整使用方法请参考 egen 的 HELP 文档。

2.2.1 变量值匹配：anycount、anymatch 和 anyvalue

　　这三个运算不能与 by 组合使用

　　基本语法：

1
2
3
4
5
6
7
8
** anycount: 变量列表varlist取值与整数列numlist取值匹配的变量个数
egen newvar = anycount(varlist), values(integer numlist)

** anymatch: 变量列表varlist取值是否与整数列numlist取值匹配
egen newvar = anymatch(varlist), values(integer numlist)

** anyvalue: 变量varname的取值仅保留与整数列numlist匹配的取值，未匹配的改为缺失值
egen newvar = anyvalue(varname), values(integer numlist)

　　示例：

1
2
3
4
5
6
7
8
9
10
** anycount
egen check = anycount(x1 x2 x3 x4), values(1 2 5 8)    //固定取值的整数
egen check = anycount(x1 x2 x3 x4), values(1/10)       //连续整数
egen check = anycount(x1 x2 x3 x4), values(0(2)10)     //固定间隔整数(间隔为2)

** anymatch
egen check = anymatch(x1 x2 x3 x4), values(1/10)

** anymatch
egen check = anymatch(x1), values(1/10)

2.2.2 连接 / 合并变量：concat

　　该命令不能与 by 组合使用。按照 varlist 的顺序连接各变量，可以生成以下变量：

  • 按照原样字符型变量；
  • 在 format(%fmt) 选项下使用数字格式转换；
  • 在 decode 选项下解码。

　　基本语法：

1
egen strvar = concat(varlist) [, format(%fmt) decode maxlength(#) punct(pchars)]

　　maxlength(#) 表示控制最大标签长度

　　punct(pchars) 表示变量之间的分隔符号

　　示例：

1
2
3
4
5
6
** 按照x1、x3、x2的顺序连接变量
egen strvar = concat(x1 x3 x2)
** 使用空格作为分隔符
egen strvar = concat(x1 x3 x2),punct(" ")
** 使用逗号作为分隔符
egen strvar = concat(x1 x3 x2),punct(,)

2.2.3 记数：count、rownonmiss 和 rowmiss

　　count 可以与 by 组合使用，rownonmiss 和 rowmiss 不能与 by 组合使用。

　　基本语法：

1
2
3
4
5
6
7
8
** count: 表达式exp计算结果不是缺失值的样本数
egen newvar = count(exp)

** rownonmiss: 每个样本的变量列表varlist中非缺失值的变量数
egen newvar = rownonmiss(varlist) [, strok]    //varlist中包含字符型变量，则需要使用strok选项

** rowmiss: 每个样本的变量列表varlist中缺失值的变量数
egen newvar = rowmiss(varlist)       //rowmiss不能使用strok选项

　　示例：

1
2
3
4
5
6
7
8
9
10
** count: 按照diqu分组，计算x1和x2乘积不是缺失值的样本数
egen x3 = count(x1*x2),by(diqu)

** rownonmiss和rowmiss
egen checkmiss = rownonmiss(x1 x2 x3)    //非缺失值数量，无字符型变量
egen checkmiss = rowmiss(x1 x2 x3)       //缺失值数量
** 简写
egen checkmiss = rowmiss(x*)             //所有以"x"开头的变量的缺失情况
** rownonmiss有字符型变量情况
egen checkmiss = rownonmiss(x*), strok

2.2.4 分组 & 求和 & 占比：group、total、rowtotal、pc

　　total 可以与 by 组合使用，group 和 rowtotal 不能与 by 组合使用。

　　基础语法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
** group: 依据字符型/数值型取值分组，可以是字符型、数值型的组合
egen newvar = group(varlist) [, missing label[(lblname[, replace truncate(#)])]]
/* Note: option用法：
         missing: 将缺失值当作一个取值进行分类。若不使用missing选项，变量列表varlist中任意变量的取值是缺失值，生成的newvar就是缺失值。
         label[(lblname[, replace truncate(#)])]: 创建值标签。                                */

** total: 对多个样本取值进行加总
egen newvar = total(exp) [, missing]
/* missing: 
        若使用missing选项，当exp(某一组)全部都是缺失值时，该组加总值设置为缺失值；
        若不使用missing选项，当exp(某一组)全部都是缺失值时，该组加总值设置为0。        */

** rowtotal: 对多个变量取值进行加总
egen newvar = rowtotal(exp)

** pc: 每个样本的exp取值占exp加总值的比例
egen newvar = pc(exp) [, prop]       //prop选项：设置prop，取值范围在0～1之间；不设置prop，取值范围在0～100之间

　　示例：

1
2
3
4
5
6
7
8
** group: 根据 county 生成分组变量 CID
egen CID = group(county)

** 以CID为分组依据，对每一组内的样本的收入进行加总
//缺失值设为0: 一组样本 x1 所有取值都是缺失值，则该组的加总值为0
egen x1_total = total(x1), by(diqu)
//忽略缺失值: 一组样本 x1 所有取值都是缺失值，则该组的加总值也是缺失值
egen x1_total = total(x1), by(diqu) missing

2.2.5 中位数 & 分位数与相关运算——median、pctile、mad、iqr、rowmedian、rowpctile

　　median、pctile、mad 和 iqr 可以与 by 组合使用，rowmedian 和 rowpctile 不能与 by 组合使用。

　　基本语法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
** median: 中位数
egen newvar = median(exp)

** pctile: 百分位数
egen newvar = pctile(exp) [, p(#)]   //p(#)表示百分位数

** mad: exp 取值和中位数偏差的绝对值的中位数
egen newvar = mad(exp)

** iqr: 四分位数差距 —— 75%分位数和25%分位数的差值
egen newvar = iqr(exp)

** rowmedian: 每个样本的变量列表取值的中位数(忽略缺失值)
egen newvar = rowmedian(varlist)

** rowpctile: 每个样本的变量列表取值的百分位数(忽略缺失值)
egen newvar = rowpctile(varlist) [, p(#)]       //p(#)表示百分位数

　　示例：

1
2
3
4
5
6
7
8
** pctile: 按省分组统计x1的20%分位数
egen x1_p20 = pctile(x1), p(20) by(province)
egen x1_p20 = pctile(x1), p(.2) by(province)

** rowpctile: 20%分位数
egen p20 = pctile(x1 x2 x3 x4 x5 x6 x7 x8 x9 x10), p(20)
egen p20 = pctile(x1 x2 x3 x4 x5 x6 x7 x8 x9 x10), p(.2)
egen p20 = pctile(x1-x10), p(.2)

2.2.6 样本均值、标准差、最值：sd、mean、min、max、mdev

　　该 5 个函数都可以与 by 组合使用。

1
2
3
4
5
egen x1_sd = sd(x1)           //x1 的标准差
egen x1_mean = mean(x1)       //x1 的有效均值(缺失值不进入平均运算)
egen x1_min = min(x1)         //x1 的最小值
egen x1_max = max(x1)         //x1 的最大值
egen x1_mdev = mdev(x1)       //x1 取值和均值偏差的绝对值的均值

2.2.7 多变量均值、标准差、最值：rowsd、rowmean、rowmin、rowmax

　　该 4 个函数都不能与 by 组合使用。

1
2
3
4
egen xx_total = rowtotal(x1 x2 x3)   //x1、x2、x3的加总值
egen xx_mean = rowmean(x1 x2 x3)     //x1、x2、x3的有效均值(缺失值不进入平均运算)
egen xx_min = rowmin(x1 x2 x3)       //x1、x2、x3的最小值
egen xx_max = rowmax(x1 x2 x3)       //x1、x2、x3的最大值

2.2.8 数列——seq

　　该运算函数可以与 by 组合使用。

　　基础语法：

1
2
3
4
egen newvar = seq() [, from(#) to(#) block(#)]
/* Note: from(#) 表示从 # 开始计数，默认为 1；
         to(#) 表示计数到 # 为止；
         block(#) 表示每个数字计数的次数。         */

　　示例：

1
2
3
4
5
6
7
** 每个数字计数一次，范围1～4，重复计数: 1,2,3,4, | 1,2,3,4, | 1,……
egen list=seq(), to(4)
egen list=seq(), to(4) block(1)
** 每个数字计数两次，范围1～4，重复计数: 1,1,2,2,3,3,4,4, | 1,1,2,2,3,3,4,4, | 1,……
egen list=seq(), to(4) block(2)
** 每个数字计数两次，范围3～4，重复计数: 3,3,4,4, | 3,3,4,4, | 3,……
egen list=seq(), from(3) to(4) block(2)

2.2.9 其他——kurt、

　　kurt 命令可以与 by 组合使用。

1
2
** kurt: 表达式exp的峰度
egen x1_kurt = kurt(x1), by(PID)     //根据PID分组计算变量x1的峰度

　　‍