To do list
- 参数实际值 + 半功率角相关的实验
- 大规模搜索的详细报告
- 背单词
- u盘 + 书签 + 数据线 + 电子产品周边
eBay eProduct Visual Search Challenge - FGVC9 (CVPR2022)
任务要求:
To retrieve the “same products'' (see below) from a million-scale product database given a “query” image.
根据query集去在测试集（只有图片）中进行检索，获得你认为的匹配度高的检索rank。
数据集：
eProduct, a dataset consisting of 2.5 million product images towards accelerating development in the areas of self-supervised learning, weakly-supervised learning, and multimodal learning, for fine-grained recognition.
- training set
1.3M+ listing images, with titles and hierarchical category labels - evaluation set
5K query and 1.1M+ index images
训练集，验证集，query集以及用于检索的数据库（测试集）
数据集样例
训练数据格式
提交要求：
- 训练阶段（3.1-5.16）10/day、200/month
- 测试阶段（5.16-5.30）5/day、50/month
- csv格式提交最终结果
- 无表头两列表格，第二列空格隔开产品序列号
提交样式
评价标准：
macro-average recall@k (MAR@k) is simply the average of recall@k over all queries, where k=10. And recall@k is the proportion of true match items found in the top-k recommendations.
Tips:
- 计算只需要Top10的准确率，后面的序列不计入结果
- 提取物体特征时，为了找到匹配度高的产品图，需要考虑同一产品在不同角度和不同背景下的图片，以及需要具有相同的颜色、样式和形状。产品的品质则不在区分条件中，例如新旧。
2021方法论
- pseudo label + non-ensemble 文本特征提取
- ensemble
- larger image size
图像检索技术：
- 利用机器学习算法来提取特征，然后通过K近邻来寻找高匹配度产品。
文本与图像多模态的检索
- 提取图像特征
- 提取文本特征
- 特征融合
- KNN找出匹配度高的商品图
图像文本融合模型
- TF-IDF 与 ResNet 取并集
- SBERT 与 NFNet 取并集
- TF-IDF 与 ResNet 度量层输出融合
- SBERT 与 NFNet 度量层输出融合
- 图像 Ensemble 与 文本 Ensemble 取并集
书签x3 + 冰墩墩x3 + 雪融融x1
预售抢不到，放弃了。
网友评论