原始数据导出 1.0 API （deprecated）

注意：

原始数据导出 2.0 API 已经上线，原始数据导出 1.0 API 将于 2018年5月12日下线。请及时按照原始数据导出 2.0 API的字段格式更新原始数据的ETL脚本程序。

1. 导出时数据以每 64M 为单位分包发送，导出数据默认采用 gzip 压缩。原始数据中所有时间字段均为 UTC 时间，并非中国时间；此处导出的压缩包名也是由 UTC 时间命名。

2. 原始数据导出为付费功能，且只能导出从开通日起的数据，原始数据仅保留15天，请定期下载。

3. 在进行导出之前，请务必参考“GrowingIO接口认证”文档，完成接口认证获取token。

Resource

GET https://www.growingio.com/insights/:ai/:date.json

Authorization

在 Header 里面添加两个属性：

URL Parameter

date分为两种格式：精确到天(20160520)或者精确到小时(2016052008,20日早上8点)，分别对应下载天级别数据与小时级别数据。均为中国时间，不是UTC时间。

Responses

Status Code: 200 OK

{
  "status": "FINISHED",
  "downlinks": [
    "link1",
    "link2"
  ]
}

响应中的 status 字段，状态值有：

1. FINISHED 任务完成；
2. RUNNING 任务正在跑；
3. NOT_EXISTS 任务不存在，可能是任务还没跑或者请求日期格式不对。

使用下载接口时，可以先检查 status 字段，为 FINISHED 时才拿 downlinks 进行下载。

导出数据字段说明

GrowingIO全量数据划分成三个级别，visit，page，action

visit

page

action

字段备注

1. 三张数据表分别代表GIO定义的三种数据级别，访问级别（visit），页面级别（page）与标签级别（action）。visit代表访问级别的数据，按照session定义访问，page代表页面级别数据，打开的浏览页面就是一条记录，一条访问级别数据对应多条页面级别，action级别数据代表标签数据，定义页面元素标签的显示，点击，提交等事件，三者形成整个用户行为数据层级。目前导出的数据类型除了action下的imp(impression)类型因为数据量过大不可导出，其它数据都已经导出。
2. sendTime与eventTime的区别在于前者相当于是GIO平台接收到的时间，而eventTime是事件在客户端真正发生的时间，客户可以根据eventTime重现用户操作时间线。
3. 在refer中可以提取utm（广告链接关键字）或者搜索关键字等信息，用于分析访问来源。也可在visit表的query字段中提取utm信息。
4. appVersion，model，manufacturer，channel，osVersion仅在mobile端提供，更多信息可以从userAgent中提取。
5. 三张数据表可以根据“外键”join，分别是page_id与page表的id，visit_id与visit表的id，action_id单独提供。因为标签事件并不导出impression（显示级别）的数据（数据量太大的缘故），所以建议通过action full outer join page，visit与page基本保持对应，若是在小时级别page数据无法join到对应的visit记录，visit记录可能存在于之前的小时单位中。
6. 所有数据已经根据userId, sessionId, sendTime进行排序，基本能够做到具体用户行为跟踪。
7. mobile端浏览器打开页面访问，默认platform类型为Web，若是需要区分则建议根据osVersion。
8. action数据中index，info为补充字段，参考changelog说明。

在全量数据之外，提供GrowingIO平台圈选数据映射关系表，包括action_tag与rules表(接口将更新于2016年8月9日)

action_tag

rules（从统计数据的规则逻辑API获取）

备注

1. 在基础部分数据导出（visit, page, action)之外，提供圈选数据与action级别数据的映射部分。
2. 通过action数据中的action_id与action_tag中的action_id聚合，绑定对应的rule_id（映射的规则名称）到action数据上。
3. rules代表了客户在GrowingIO平台上圈选的标签，rule_id即其唯一标识符。
4. 通过rules表将名称绑定到上述的action_tag表中，便于通过名称进行数据分析，识别导出数据中圈选部分的数据情况。
5. action_tag与rules表均是关联信息表，用于更进一步分析导出的部分数据，在导出数据中定位圈选数据。建议规则建立时保持名称的唯一性，GrowingIO平台不保证规则名称唯一性。
6. 相同的规则名称下可能有多个规则类型，规则名称＋规则类型才能区分，此处的规则类型与基础数据action中的事件类型保持一致。

打点数据 custom_attr

custom_attr 内 attribute 字段说明

广告监测API数据

激活日志 ads_track_activation

点击日志 ads_track_click

（老版）来源管理数据导出api

GET https://www.growingio.com/projects/project_id/activities.json

上述地址中的 project_id 取值请参考“GrowingIO接口认证”章节的“术语”。

输出

附录

数据处理建议

数据处理建议采用Hive或者Spark平台工具，若是需要导入自有BI平台，可能需要进一步调整数据格式（csv转成其他符合数据处理需求的格式），针对以上的需求，给出相应的数据处理建议。

注意不要以逗号为分隔符进行处理，csv数据格式以引号外的逗号为分隔符

Spark

建议下载数据后，将下载的压缩文件放于hdfs的以日期建立目录结构，同一小时或者同一天的数据放在同一目录下，然后通过spark streaming的fileStream接口监控根目录，读取变动的文件内容。

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)

在依赖中添加：

groupId: com.databricks
artifactId: spark-csv_2.10
version: 1.4.0

具体数据操作参考spark-csv(https://github.com/databricks/spark-csv)

Hive操作

可以参考Hive对CSV数据操作的支持 https://cwiki.apache.org/confluence/display/Hive/CSV+Serde

目前暂未测试该方式～

create external table xxx

数据格式调整处理（以java为例）

新建maven project，在pom.xml中添加以下依赖

    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-compress</artifactId>
      <version>1.12</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-csv -->
    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-csv</artifactId>
      <version>1.4</version>
    </dependency>

而后在读取数据的方法中：

    GzipCompressorInputStream stream = new GzipCompressorInputStream(new BufferedInputStream(new FileInputStream("data/test.gz")));

    Reader reader = new InputStreamReader(stream);
    Iterable<CSVRecord> records = CSVFormat.DEFAULT.parse(reader);
    for (CSVRecord record : records) {
        System.out.println(record);
    }

上例中，数据读取依赖于commons-compress与commons-csv库，同样在python中有类似的数据处理库。