实习经历


发表工作


分割 & 合并:通过稀疏训练激发视觉适配器的潜力
张启哲, 邹博诚, 安睿川, 刘家铭, 仉尚航†
Arxiv 2023 [论文] [代码]
" 我们提出了混合稀疏适配器 (MoSA) 作为一种全新的适配器微调方法,来充分激发适配器中每一个参数的潜力。与标准适配器相比,MoSA可以在不引入任何额外计算与存储开销的情况下,达到显著更优的表现。 "

基于梯度的参数筛选高效微调
张智*, 张启哲*, 高子俊, 张仁瑞, 叶卡捷琳娜·舒托娃, 周仕佶, 仉尚航†
CVPR 2024 [论文] [代码]
" 我们提出了一种新颖的基于梯度的参数筛选方法 (GPS) 用于高效微调。GPS在训练与推理两个阶段均不引入任何额外的存储与计算开销,同时,它还具备模型架构无关以及任务自适应特性,在下游任务上取得了优异表现。"

用于测试时适应的自适应分布掩码自编码器
刘家铭*, 徐冉*, 杨森乔*, 张仁瑞†, 张启哲, 陈泽徽, 郭彦东, 仉尚航‡
CVPR 2024 [论文] [代码]
" 我们提出了自适应分布掩码自编码器 (ADMA) 作为一种全新的持续自监督方法。ADMA增强了目标域的知识提取,同时减轻了分布偏移的累积。 "

通过跨模态跨域知识迁移的无监督脉冲深度估计
刘家铭*, 张启哲*, 李嘉宁, 陆鸣, 黄铁军, 仉尚航†
ICRA 2024 [论文] [代码]
" 我们针对无监督深度估计任务提出了一种全新的跨模态跨域 (BiCross) 框架。值得一提的是,我们的工作是第一个利用公开的 RGB 数据集帮助无监督脉冲深度估计训练的。 "

稀疏视觉提示在跨域语义分割中的探索
杨森乔*, 吴佳锐*, 刘家铭*, 李晓琦, 张启哲, 潘铭杰, 仉尚航†
AAAI 2024 [论文] [代码]
" 我们提出了一种用于稠密预测TTA任务的稀疏视觉域提示 (SVDP),它在图像级提示中保留最少量的可训练参数,并保留更多输入中的空间信息。 "

未来计划


  • 通用纯视觉基础模型 (ViT / Mamba)
  • 全微调与PEFT的对比分析
  • 基于超网络的持续学习适配器
  • 大规模液态神经网络
  • 自动音乐转录与音色转换
  • 基于强化学习的复杂游戏AI (麻将)

联系方式

  • theia@pku.edu.cn   theia4869@gmail.com
  • +86 · 18810920885
  • Theia-4869