硬币多模态模型：Coin-CLIP

文章预览

今年上半年国内有个很火的出海应用，叫 CoinSnap 。用户拍一个硬币的正反两张图片上传后，CoinSnap 识别出这个硬币是什么硬币，提供更详细的说明和参考报价。这个应用在美国很火，美国人收藏硬币和中国人收藏古董是一样的，所以 CoinSnap 其实就是个鉴宝 App。据报道，CoinSnap 在今年 2 月份的收入已经达到 42万刀 ，非常喜人。 硬币识别流程 从算法角度看 CoinSnap，其核心功能就是识别用户上传图片中的硬币具体是什么硬币，即所谓的 硬币识别 能力。 硬币识别 的流程图大致是这样的： 主要包括以下步骤： 硬币检测 ：检测用户输入的图片中硬币所在的位置。 预处理 ：检测到硬币后，图像进行预处理，包含两个子步骤： 水平对齐 ：旋转图像以确保硬币处于水平放置。 背景去除 ：移除图像背景，仅留下硬币图像。 硬币检索 ：使用预处理之后的 ………………………………