案例 | 视觉搜索成未来，Pinterest会是下一个谷歌吗？

会员服务 ·

案例 | 视觉搜索成未来，Pinterest会是下一个谷歌吗？

2017 年 12 月 18 日 星河互联 chiming

随着图像识别技术的不断发展，视觉搜索也愈加被人所重视，它会造就下一个谷歌吗？

近日，FastCodesign发布了一篇文章，介绍了该领域Pinterest近年来的发展状况及其背后的潜力与野心。

Pinterest已经能够通过

视觉线索识别出一个物体

这一切都是从16个月前的一个牛油果开始的。

在Pinterest位于旧金山的总部，一个特殊的牛油果被放置在会议室的桌子上。Pinterest的创意总监Albert Pereta被六名同事簇拥着，走近水果，小心翼翼地用手机瞄准拍摄。他正在测试该公司的最新发明，这是一项名为“Lens”的功能。如果测试正确，它不仅能识别出这种水果，还能搜索过去7年里上传至该服务的数十亿张照片，以寻找类似的图片。

Pereta拍下照片后，应用花了一会儿时间与云同步，然后把结果反馈出来。Pereta的手机屏幕上充满了看似无穷无尽的、从各个角度拍摄的牛油果。

“很多人都很惊叹，说‘这东西真好！’”Pereta说道。Pinterest已经能够通过视觉线索识别出了一个物体，这是一个非常困难的工程问题。但Pereta并不满意：“当我看着这个结果的时候，我在想，‘谁在乎呢？’”

视觉搜索技术的效果非常好，但其结果毫无意义。没有人会拍下牛油果的照片，希望能得到一幅几乎完全相同的牛油果照片，更不用说无穷无尽的照片了。“我们开始问，‘如果你给一个牛油果拍照，你想要什么？’”Pereta回忆道。

有人说他想要一份食谱。“所以你甚至不会看到牛油果，你会看到一些粘乎乎的牛油果酱，”Pereta说。或者Pinterest可以提供关于如何种植牛油果的信息，或者你可以用牛油果做些什么。“那太不可思议了，”Pereta回忆说。

如今，牛油果的故事已经成为了一个寓言，安放在Pinterest总部的胶合板墙内。这提醒人们，个性化比完美更有价值。随着该公司在去年2月推出Lens Beta版测试工具，深入到新兴的视觉搜索领域时，这一点尤为明显——这个版本并没有调用成千上万的牛油果图片。

结合Pereta的见解，这款应用能够提供与它们相关的想法，比如，制作牛油果酱。这是一个早期的视角，即Pinterest在非常现实的情况下，如何将希望寄托在视觉人工智能上，从而彻底改变人们购物和饮食方式的一切行为。

未来智能手机不会出现在我们的口袋里

而是在我们的眼睛里

在过去的二十年里，我们通过在搜索栏中输入信息来寻找网络上的东西。由于机器学习技术的进步，计算机视觉即将让我们通过拍照来进行搜索。谷歌、Facebook、微软和亚马逊都在向这项技术投入大量资源。

这也就不足为奇了：谷歌将在2017年通过传统文本搜索广告获得约286亿美元的收入。使用Alexa、Siri和Google Assistant等服务的语音搜索功能，现在才刚刚实现。视觉搜索呢？这可能是一件具有里程碑意义的事情，因为许多技术专家都设想未来的智能手机不会出现在我们的口袋里，而是在我们的眼睛里。

Pinterest首席执行官Ben Silbermann表示：“我真的认为，摄像头将成为下一个键盘。它将成为你用来查询周围世界、发现身边事物、或想象某个东西可能适合你生活的一个基本工具。”

在这个竞争激烈的领域，Pinterest看起来并不算什么。但其在那堆牛油果下隐藏了很多东西。当各种党派之争的内容占据了许多应用和网站的时候，Pinterest的2亿月活跃用户就会转向该服务，从而寻求一种更美好的生活，比如更舒适的客厅、冒险的旅行，或者健康的零食。

根据尼尔森的一项研究，他们不是在寻找美食照片，也不一些能够发到Instagram上的照片，而是他们可以真正烹饪的日常食物：98%的Pinterest用户表示他们会尝试在该服务中发现的新东西。广告商们也开始接受这个网站。从2015年到2017年，Pinterest的年营收预计将增长5倍，达到5亿美元，而其在全球范围内的用户增长将达到40%。（Pinterest拒绝就营收增长和预测发表评论。）

Pinterest的受欢迎程度在于，它能够为每一位用户创建一个独特的“品味图谱”，从而推断出其可能感兴趣的其他东西。现在，Pinterest正致力于将计算机视觉技术融入到对用户偏好的深入理解中。

“所有的东西都在不断涌现，这是Pinterest在为你的实际生活寻找创意时的有用之处，”Silbermann说。“如果人们真的用Pinterest来决定他们在家里做的所有事情，比如他们准备烹饪的食物，或者是他们的下一个假期等等，那就会有巨大的价值。”

这意味着Pinterest不仅需要像谷歌一样掌握你正在寻找的东西，还必须预测你永远不知道的，但你想要的东西。如果这家公司取得成功，它可以利用我们的相机开启一个无穷无尽的个人发现世界。

Pinterest联合创始人Evan Sharp表示：“视觉搜索能产生的持久影响不会是什么特定的产品或功能，而是它让人们能够做的事情：将人们看到的任何东西，变成可以用来在互联网上发现更多东西的东西。”

不精确的答案并不是错误，而是灵感

我站在旧金山SOMA社区的一间花园公寓里拿出了Pinterest应用。即便是在地下室的照明设备中，镜头也能很好地工作，将我拍摄的物体与其突出的特征匹配起来。

镜头不仅能看到一把椅子，还能看到是一把俱乐部的椅子。不仅仅是一个枕头，还是一个kilim枕头。不仅仅是“艺术”品，还是一幅Rothko的画作。通过这个过程，我实际上学到了许多东西。许多识别结果伴随着的都有可操作的链接，我可以用它来标记、甚至购买。

后来，我尝试通过Google Lens拍摄类似的照片，这是Pinterest的一个竞争对手，在今年早些时候在Pixel手机上推出了测试版。谷歌的版本不知道它看到了一把椅子，甚至是家具，并向我道歉。它甚至误把枕头当作被子。它唯一能与之匹配的是Rothko的作品，不过值得注意的是，人们普遍认为，识别2D艺术品是视觉搜索工具最简单的挑战之一。

Google Lens不是很好。至少现在还没有很好。但你可以看到，视觉AI是如何与公司的更大的业务需求以及其他科技巨头相结合的。谷歌的业务是建立索引，因此该公司希望帮助用户直观地识别周围的世界，这是有道理的。

Facebook有自己的社交图谱，专注于将用户与朋友联系起来，以及利用人工智能识别人脸的既得利益。亚马逊拥有电子商务。对它来说，视觉搜索可以成为数字世界和现实世界之间的桥梁——例如，你拍摄一双鞋，在亚马逊上寻找类似的，也许是更便宜的。

每家公司可能会以不同的方式对待视觉人工智能，但其含义是一样的：在这个新兴领域，即使现在还不能清楚地表达出它的价值，也会有一些资金在涌入这个新兴领域。

Forrester的搜索分析师Collin Colburn说：“想想看，你有可能会拍一张照片，去寻找你甚至无法描述的东西。这是非常强大的东西。这可能是最不成熟的搜索，但它可能最有潜力。”

谷歌有数百名员工独立从事视觉人工智能的开发工作。Facebook拥有2万名员工和300名人工智能研究人员，此外它还在社交网络上进行120万个视觉人工智能实验。亚马逊拥有超过50万名员工，其中有5000名员工在Alexa上工作——它的新Echo Show不仅有麦克风，还配备了与Alexa互动的摄像头——可以让亚马逊看到你的整个房间。Pinterest？该公司只有12名员工致力于视觉搜索。

但Pinterest比看起来更强大。首先，它拥有大量数据来训练视觉人工智能。你拥有的图像越多，算法就会越智能，而且它在提供用户真正想要的推荐时也会变得更好。许多研究人员使用的最大公共数据集——Image Net，包括1400万个日常物品的众包照片网站。

Pinterest拥有数十亿张照片——由热心的Pinner从博客上浏览上传，或者是由公司自己发布——大部分都有完美的舞台和灯光效果，因为它们是官方的产品摄影。电脑能更容易地看到完美的图像。同样重要的是：这些照片已经被Pinterest的忠实用户亲手标记并贴上标签。

卡内基梅隆大学机器学习主管Manuela Veloso表示：“数据集越大，你感到惊讶的可能性就不会越大。Pinterest的数十亿数据的有趣之处在于，它们将会覆盖各种极端案例。”

此外，Pinterest的设计也会在用户搜索时提供一些模糊的结果。这是Pinterest从牛油果学到的经验。精确匹配是谷歌搜索的特色，它已经针对特定问题进行了优化，比如“你如何烤鱼？”后面将会有一个完美的链接。

Pinterest的用户往往会提出更含糊的问题：他们每周可能会搜索几次“海鲜晚餐创意”。对他们来说，不精确的答案并不是错误。而是灵感。

换句话说，Pinterest的人工智能在视觉搜索方面可能会失败，但幸运的是能找到正确答案。想象一下，Siri会做同样的事情。“在其他一些公司，我们谈到了精确的召回。但说到底，用户对功能的感觉是非常有用的，”Pinterest的工程主管Li Fan表示。他们可能不需要100%的精确度。没关系。只要我们实现了预期，他们就会觉得这是一种持续的体验，他们觉得这很有用。”

在竞争平台因侵犯隐私而受到攻击的时候，Pinterest也已经赢得了用户的信任。人们把Pinterest看作是搜索引擎或社交网络之外的东西。

Silbermann说：“我们试图与用户建立的关系是，当你分享自己的事情时，是基于你想要更好的推荐，我们会为你提供你想要的内容。”这一预期相当明确。你用Pinterest来寻找一个时尚风格，所以如果我们问你：“你最喜欢的颜色是什么？”这一点没有任何侵犯性。”这样的互动让Pinterest能够提供既出人意料又准确的结果。它的设计语言更像是精心挑选的而不是经过精心策划的，而且也比机器人更人性化。

各大品牌开始明白

视觉搜索是它们未来的重要组成部分

Pinterest成立于2010年，主要是在设计上花费了巨大投资：它可以让用户收集和整理感兴趣的主题，而不是难看的蓝色文字链接，而是虚拟索引卡上的华丽照片。

联合创始人Sharp是一位具有创造性而且有远见的人，他曾在哥伦比亚大学的研究生建筑学院接受过培训，是首席执行官Silbermann的完美补充——他是一名管理顾问，后来成为了企业家。该平台非常受欢迎:2012年，comScore分析公司宣布它是历史上增长最快的Web服务。

Pinterest的照片卡采用了一种新颖的设计方式，比如谷歌等巨头，从搜索结果到Android操作系统，都在使用它们。不过，自那以后，它的飞速增长已经放缓。如今，光芒已经被Instagram的8亿月活跃用户和使用激进AR技术的Snapchat所掩盖。

不过，Pinterest并未追求激进的增长，而是在其核心产品上加倍投资：预测用户想看什么。“我们最终在机器学习上投入了大量资金，”Sharp说，他现在是公司的首席产品官。“大部分用户看到的内容都是通过算法来决定的，”他说。“这是一个推荐，一个搜索结果，或者一个Related Pin。”

后一项功能是在2013年发布的，它能根据你看过的内容生成一个相对简单的推荐Pin列表。到2014年，公司才委派了一些人工智能工程师，让它变得更好。他们通过训练算法来推荐相关的话题，并根据视觉线索推荐类似的项目，优先选择能获得最多点击量的Pin。

如果你点击一个由倒放的树枝做成的衣架，Related Pins中会包括一份韦恩（Venn）图，里面包含了一些合理的建议，包括房屋装饰和木质装潢，包括树干上的衣架、小房间的分隔物，以及一个回收的谷仓木钥匙托盘。今天，Related Pins占据了Pinterest所有互动中的40%。

2016年，该公司在视觉人工智能领域进行了早期投资，并在谷歌上招募了计算机视觉专家Li Fan。她在谷歌工作了8年，之后在百度工作，领导了1000名工程师。然后她又回到谷歌，选择了一个更加专注的角色，担任谷歌图片搜索的负责人。

最后，Pinterest找上门来。“作为领导者和个人，Li Fan的价值观与Pinterest的价值观非常契合，”Silbermann说。“有一件事让我产生了共鸣，那就是她认为科技是一种丰富人们生活的方式，而不是单单的技术。”

在Li Fan的领导下，Pinterest在Lens、Pins和公司的浏览器扩展工具上进行的视觉搜索同比增长了近70%，每月的搜索量超过3亿次。与此同时，Pinterest的商业合作伙伴已经看到了他们的 “Shop the Look”Pins点击量背后巨大的潜力——这一功能可以让用户点击，然后购买图片中的商品。

所有这些都汇聚成一个丰富的商业机会。FirstMark Capital的风险投资人Rick Heitzmann表示：“最初，Pinterest是由用户类别进行管理的。”他曾在2009年对Pinterest的联合创始人进行了第一次调查，并参与了此后的每一轮投资。“

但随着科技的发展，它是由人工智能、图像识别，以及找到你喜爱和关心的东西所驱动的。”Pinterest的使命是将视觉搜索变成一项内容，而Heitzmann对这些机会感到非常兴奋。“你可以看到潜在的市场规模很大。”

Pinterest已经向广告商提供了一个吸引注意力的平台。根据一项调查显示，93%的用户使用Pinterest来制定购物计划，87%的人通过Pinterest购买了一些东西。但至关重要的是，Pinner还没有确定他们想要的确切产品。根据Pinterest的数据，97%的搜索请求没有一个特定的品牌。与此同时，视觉搜索工具让这个品牌发现过程更加诱人，尤其是当搜索结果与用户的个人“口味图谱”相关联的时候。

Target最近成为了Pinterest的Lens技术的独家美国零售合作伙伴。很快，在该零售商的主应用内，你将可以使用集成版的Lens，比如说，拍摄一盏台灯，并看到由Target销售的视觉效果相似的产品。

“我们的客人在每一种购物体验中都渴望舒适和方便。”视觉搜索是一个巨大的解锁工具，因为它消除了产品搜索中的很多障碍，”Target的CMO Rick Gomez说。“通过简单地拍下一件感兴趣的商品，Pinterest的镜头将会返回那些专门针对我们的客户所寻找的产品。”（Walmart、American Eagle和Tommy Hilfiger在他们的应用上也有视觉搜索功能，这是由初创公司Slyce创建的。）

Pinterest还与三星合作，为Galaxy智能手机提供视觉搜索功能，并与Shopstyle合作，将Lens的结果与500万多种时尚配饰的可购买Pins联系在一起。各大品牌开始明白，视觉搜索是它们未来的重要组成部分。

当然，问题在于品牌的营销预算有限。Pinterest并不是唯一一家希望通过视觉人工智能销售产品的公司。

视觉搜索是一种罕见的

未被殖民的空间

去年11月，Pinterest推出了其最新版的“Lens：Lens Your Look”，帮助用户找到新方法来搭配他们已经拥有的衣服。在你的衣橱里拍一些东西，比如一双厚实的黑色高跟鞋，然后用文字搜索来寻找可能搭配的衣服（比如“黑色连衣裙”）。“Lens”会给你提供一个穿着黑色连衣裙和高跟鞋的人的形象——甚至可能和你自己的品牌和风格完全相同。

当用户点击特定的图片时，Pinterest会了解到哪些搜索结果基本上是正确的，或者是最正确的，而且可以在下次对它们进行优先排序。这是该公司对视觉搜索的完美提炼：挖掘其庞大的数据库，挖掘用户的品味，拥抱不完美。

但这并不意味着用户的注意力就会一直存在。Sharp是第一个承认视觉搜索的确切工具甚至还没有发明的人：我们真的会用我们的手机摄像头来进行点搜索，还是需要一些AR头戴设备来实现这个概念呢？

“我们还处于早期阶段，”Sharp说，“就像90年代中期的文本搜索领域一样。这是一项技术，很有趣，但没有人真正深入了解产品是什么，以及它将解决什么问题。”

问题是，如果Pinterest能破解这一密码的话。我们会不会“Pin它”，而不是“谷歌它”？这一前景听起来令人畏惧，尤其是在Pinterest与世界上一些最有价值、最强大的公司竞争的情况下。

Sharp走到白板前，画了一个四象限的坐标轴。在X轴上，他写道“分享和搜索”。在Y轴上，他写着“文字和视觉”。

文本分享？这个象限属于Facebook和Twitter。视觉分享？Facebook、Instagram和Snapchat。搜索文本？这就是谷歌和必应。而是通过视觉来寻找？。他在这个象限里写了一家公司。“Pinterest。”画一个坐标轴，将你的公司单独放在一个象限里是一个典型的创始人举动。但Sharp在一件事上的观点是正确的：视觉搜索是一种罕见的未被殖民的空间。

“这是这里最值钱的四分之一，”他说。“这是Pinterest的前提。”

来源：36氪

编译：郝鹏程

# 今日互动 #

你对2018年数据可视化发展趋势的看法是？

留言给我们，我们将送出《牧羊少年奇幻之旅》5本，1月13日公布获奖名单。