📄 论文:"GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph" (ICMR 2021) → "GNNBoost: Boosting Artwork Classification with Graph Embeddings" (Multimedia Tools and Applications, 2025)
👥 团队:大阪大学(El Vaigh, Garcia, Renoust, Chu, Nakashima, Nagahara)· GCNBoost被引37次
🔬 研究内容
这一系列工作的核心创新是 Transductive Learning(转导学习)应用于艺术品分类:测试数据在训练时已经存在于图中(只是没有标签),通过图中的共享属性节点(如同一艺术家、同一时期、同一技法)将标签信息从已标注样本"传播"到未标注样本。这与Castellano的Inductive方法形成互补——Transductive适合图相对固定的场景,Inductive适合实时新数据。
另一个关键创新是 伪标签策略(Pseudo-labeling):先用预训练CNN分类器对未标注数据生成初始预测标签,再将这些伪标签数据加入知识图谱构建Extended Knowledge Graph (EKG)。通过图结构的约束和传播,伪标签中的噪声被有效抑制。这对我们项目极其重要——艺术市场数据中大量信息是半结构化的,人工全量标注不现实。
从GCNBoost到GNNBoost的四大升级体现了方法的成熟化:(1) GCN→GAT引入注意力机制,对伪标签噪声更鲁棒;(2) 单任务→多任务学习;(3) CrossEntropy→Focal Loss解决数据不平衡;(4) 新增浮世绘数据集实现跨文化验证,证明方法不局限于西方艺术。
🛠 技术方法
- 图结构:Extended Knowledge Graph (EKG) — 标注数据 + 伪标签数据共建
- 学习范式:Transductive — 测试节点在训练时已在图中,仅缺标签
- 伪标签:预训练CNN(ResNet50)分类器 → 预测未标注数据标签 → 加入图传播
- 图网络:GCNBoost用GCN,GNNBoost升级为GAT(注意力权重动态学习邻居重要性)
- 损失函数:GNNBoost使用Focal Loss解决类别不平衡(少数类权重↑)
- 任务设计:GNNBoost支持多任务(style/genre/period联合预测)
- 数据集:SemArt(西方绘画)、Buddha Statues(佛像)、Ukiyo-e(浮世绘)
- 视觉特征:ResNet50 预提取
🔄 向我们项目的迁移路径
- 伪标签策略直接可用:初期少量手工标注(如10个pilot artists的career_stage/tier)→ LLM生成伪标签 → 图传播自动修正扩展到全图
- Focal Loss解决市场数据不平衡:蓝筹画廊远少于新兴画廊,高价拍卖远少于低价拍卖——类别不平衡是核心痛点
- GAT在噪声数据环境更鲁棒:艺术市场数据质量参差不齐(社媒传闻vs拍卖记录),注意力机制可自动降低低质量邻居的影响
- Transductive + Inductive混合:对已入图的艺术家用Transductive(标签传播),对新艺术家用Inductive(Castellano方式)——两者可组合
- 跨文化验证先例:浮世绘数据集证明方法可迁移到东亚艺术,为中国当代艺术应用提供信心
Transductive伪标签GATFocal LossEKG多任务学习
📊 与Castellano 2023的互补关系
| GCNBoost/GNNBoost | Castellano 2023 |
| 学习范式 | Transductive | Inductive |
| 图网络 | GCN→GAT | GAT |
| 核心创新 | 伪标签+标签传播 | 多模态多任务 |
| 视觉特征 | ResNet50 | ViT |
| 处理新数据 | 须在图中 | 无需在图中 |
| 不平衡数据 | Focal Loss(强) | 无特殊处理 |