目前项目使用 GraphQL 来进行数据抓取,但 GraphQL 的数据分页参数 `after` 接受的是一个特定的指针,而非特定的时间,因此无法直接对特定时间的数据进行抓取,从而只抓取特定时间端内的 commit 数据。 目前的数据抓取是通过抓取一个项目所有的数据并在后续的分析时进行时间隔离的。 **可能导致的问题** 1. 对于 commit /pr 特别多的项目,可能无法在一次请求中抓取到所有的数据。目前脚本暂无断点续抓的代码
目前项目使用 GraphQL 来进行数据抓取,但 GraphQL 的数据分页参数
after接受的是一个特定的指针,而非特定的时间,因此无法直接对特定时间的数据进行抓取,从而只抓取特定时间端内的 commit 数据。目前的数据抓取是通过抓取一个项目所有的数据并在后续的分析时进行时间隔离的。
可能导致的问题