关于 2024（秋）X-lab OpenARS 日程安排的讨论

[will-ww]

Description

新学期来临，X-lab 开源学术组会开始进行新一轮的规划，大家可以提出各种想法和建议~

如果说去年是实验室工程能力最强的阶段，今年则迎来了学术能力最强的阶段，可以好好利用新的学年在学术上系统地做些事情。

主力人员（总共 7 人）：

• PhD：@frank-zsy @bifenglin @PureNatural @birdflyi @Peng99999
• Master：@huangfan0 @zhingoll

例如，可以搞点专题的深入学习与研讨，结合目前流行的热点技术，比如：开源图谱 + 图机器学习 + 大模型技术

相关资源有：

• 论文收集：https://github.com/XiaoxinHe/Awesome-Graph-LLM
• 课程：http://web.stanford.edu/class/cs224w/index.html
• 课程：https://study.163.com/course/introduction.htm?courseId=252002
• 图谱工具：https://github.com/TuGraph-family/Awesome-Graphs
• GraphRAG：https://github.com/microsoft/graphrag
• GraphRAG：综述

[will-ww]

本学期，我们会 reach 到一个新的合作团队，复旦大学的陈阳老师，进而深入连接到社会计算学的圈子，将共同开展包括学习班、研讨会、论文合作、项目合作等相关事宜，开展数据驱动的开源数字生态学研究。主要老师包括：

• 陈阳：https://chenyang03.wordpress.com/
• 宫庆媛：https://iics.fudan.edu.cn/e9/c1/c33358a453057/page.htm

进一步可以连接到：

• James Evans：https://macss.uchicago.edu/directory/James-Evans
• 罗家德：https://www.sss.tsinghua.edu.cn/info/1043/3910.htm

欢迎大家提出好的建议与设想~

[huangfan0]

图大模型中，大模型可以分为三个类型的应用：backbone architecture， pre-training和post-processing,给我的感觉更多大模型扮演的是一个可插入的模块，具体论文比较多的是微调与prompt。有些方面如微调需要一定的资源门槛。最近，调研了生成模型另一个方向的diffusion model在图上的应用结合，感觉更加切实可行。

一方面之前看的是图表示学习在推荐任务，其中一个任务就是使用图对比学习解决图推荐中的稀疏问题。其中加噪声的过程就与diffusion model有关联，后续想在这个方向推进。最近也有这个方向的论文已经发表，https://dl.acm.org/doi/10.1145/3616855.3635850

另一方面，一个不成熟的想法是如果把生成扩散模型用好，就可以动态预测一个仓库后续的发展情况，比如预测哪些开发者会参与进来，这个仓库的规模，未来是start数量，结合已有的历史数据图关系的可视化，可以开发一个动态的随时间变化的图可视化，动态展现哪些节点参与进来。

[zhingoll]

由于之前有做过图对比学习相关的工作，关于对比学习中加噪声和diffusion models中加噪声，我个人感觉它们的目的和应用场景还是有一些区别：

• 对比学习中的加噪声：主要目的是增强模型的鲁棒性。通过在输入数据中引入噪声，模型能够在不同的样本变体中找到相似性，从而学习到更具有判别力的特征。
• Diffusion models中的加噪声：主要目的是为了建立从数据到噪声的映射，通过逐步引入噪声，将数据映射为随机噪声。这种方式让模型能够学习如何从噪声中恢复出原始数据，从而有效地捕捉数据的分布，进而实现生成的目的。

以上是我的一点个人看法，不一定对，欢迎讨论~ @huangfan0