Tal 的职业经历堪称传奇。他曾是一名职业国际象棋棋手，2004 年加入成立早期的 Google。在 16 年的工作时间里，他历经搜索、推荐、广告等多个 Google 核心项目，在 Google 完整见证并参与了 AI 浪潮的兴起与发展。2023 年，他加入了 Moloco，成为机器学习首席研究员。
生成式 AI 在近几年迅速走红，成为众多领域讨论的热点。然而，实际上，生成式 AI 的核心技术脱胎于深度学习，而深度学习早已为我们创造了诸多价值。
在广告领域，Moloco 便是运用深度学习技术的典型代表。2016 年就在广告行业中应用深度学习技术应用，Moloco 目前估值已超 20 亿美元。
在 ChinaJoy 期间，极客公园有幸接触到了 Moloco 的机器学习首席研究员 Tal Shaked，并与他进行了深入交流。
Tal 的职业经历堪称传奇。他曾是一名职业国际象棋棋手，2004 年加入成立早期的 Google。在 16 年的工作时间里，他历经搜索、推荐、广告等多个 Google 核心项目，在 Google 完整见证并参与了 AI 浪潮的兴起与发展。2023 年，他加入了 Moloco，成为机器学习首席研究员。
我们聊到了 Tal Shaked 的个人经历，他在二十年的职业生涯中得出的对深度学习算法、广告 AI 的理解，同时也探讨了未来生成式 AI 将如何在广告领域发挥更大作用。
以下为访谈实录，经极客公园整理编辑后发布：
大厂之外 寻找更广的 AI 落地空间
问：在你的职业生涯中，你最早在 Google 负责过搜索和广告业务，之后你离开 Google 先后在 Lyft 和 Snowflake 等公司工作。2023 年，你加入 Moloco，重新进入广告推荐业务领域。这一串职业选择背后，驱动力是什么？
Tal Shaked：我于 2004 年加入 Google，在那里工作了约 16 年，主要负责为机器学习技术搭建基础架构，涉及广告投放优化、网页搜索、YouTube 推荐、Google Play 应用商店等多个领域。
我刚到 Google 的时候，这些项目并没有开始利用机器学习技术。而现在，这些产品几乎全部由机器学习驱动，效率有了显著提升。
在 Google 工作了很长时间后，我渴望尝试一些不同的体验，探索在大型科技公司之外的世界。因此，我先后在 Lyft 和 Snowflake 等公司工作。
那时，我发现全球许多公司都热衷于将机器学习和 AI 技术融入自己的产品。他们看到谷歌、Meta、亚马逊等科技巨头通过这些先进技术创造的巨大价值，也希望在自己的产品中复制类似的成功。
加入 Snowflake 是因为在我看来他们拥有一个对于机器学习至关重要的数据平台，并且他们正在与成千上万的公司合作，帮助这些公司利用数据，通过机器学习构建更好的产品。
Snowflake 构建了一个强大的数据平台，但他们并没有专注构建一个由机器学习驱动的实际产品，也未能在这一领域创造巨大的价值。在那里工作了一段时间后，我意识到我想要寻找不同的机会，既能够与更广泛的小型公司合作创造更大的影响力，又能够像谷歌那样，构建大规模先进机器学习系统。
这样的公司并不算多。坦率地说，我在 Snowflake 期间可能接触了大约 100 家机器学习和 AI 领域的公司。很少有公司有明确的应用场景来驱动 AI 技术发展，大多数公司只是在做比较基础的机器学习应用。
而且我意识到，像谷歌这样的科技巨头与其他公司在机器学习能力上存在巨大差距。这种差距体现在多个方面，比如一个团队需要丰富的经验才能构建机器学习驱动的产品。此外，需要特定人才的支持才能让这些机器学习系统在特定领域发挥出色的效果。
综合考虑以上因素之后，我选择加入 Moloco。
问：当时看中了 Moloco 的哪些特质？
Tal Shaked：Moloco 的独特之处，首先在于它拥有一整套出色的应用场景。
首先 Moloco Ads（原名 Moloco Cloud DSP 云营销平台）创造了巨大价值，使公司在短时间内实现了快速增长和盈利。Moloco Ads 真正利用先进的机器学习来帮助全球范围内许多企业实现增长。
除此之外，Moloco 出色的应用场景和广告投放表现也赋能另外两个产品：Moloco Commerce Media 和 Moloco Streaming Monetization，使得 Moloco 产品组合拥有一系列相似但各具特色的发展机遇。
经过多年在 Google 接触各种机器学习应用场景，我深知理解业务问题和具体使用场景的重要性。有场景，我们才可以构建所需的模型来解决特定问题。
当你用机器学习解决真实的业务问题时，你能够为特定场景专门优化模型，真正聚焦于最关键的内容。机器学习在许多场景中表现出色，但有时也存在不足。深入研究特定使用场景有助于解决模型面临的包括「幻觉」在内的各种问题，并创建一个真正端到端的，有效的产品。
吸引我加入 Moloco 的另一点是其规模。
规模带来了真正的挑战。如今，任何人都可以学习机器学习和 AI，训练一个模型。我自己多年前也干过这样的事。但这样训练模型，和真的构建一个在现实中大量和人类交互的模型是完全不同的。
因为模型是在持续学习的，但有时你并不希望模型学习到现实中一些不合理的事情，那么你该如何应对？Moloco 已经证明有很好的经验来应对这种情况。
我们专注于移动应用广告，数据量非常庞大。用户每天产生约 1000 亿次广告展示竞价请求。模型每秒进行数亿次预测，通常延迟在 20 毫秒或更短。
同时，广告行业的价值是清晰的。匹配广告与用户，可以让用户在观看广告时获得价值，广告主也能从中受益。
如何在规模化的情况下实现这样的价值？从数学或建模的角度看，这涉及很多偏差、分布不均的问题，这些问题在大规模下更加难以解决，因此对我来说是更有价值的问题。
问：和 Google 相比，Moloco 实际上算一个小公司。在构建机器学习的应用时，人才密度也很重要。当时你会觉得这点会影响 Moloco 构建一个先进的 AI 应用吗？
Tal Shaked：实际上，我认为现在是像 Moloco 这样的公司构建先进机器学习系统的绝佳时机。
许多相关技术已经开源，实际上我们也在使用 Google 的一些开源技术，这就不需要我们再重新研发相关技术。
其次，云计算环境的普及也大大简化了训练大规模模型的过程。过去，训练一个需要 100 台机器的模型非常困难，因为需要特殊的集群环境。然而，现在的云计算平台，如 Google Cloud、AWS 和 Microsoft Azure，使得规模化训练这些模型并将其应用于实际业务场景中变得更加容易。
第三，丰富的人才资源也是一个重要因素。现在有很多人对这些技术有深入了解。因此，少量具备相关经验、能够利用开源技术和云计算环境的人，如今能做的工作比几年前多得多。
这也是为什么即便是较小的团队也能完成这些工作。同时令人欣慰的是，许多出色的机器学习和 AI 人才正从大型科技公司转投到其他公司。除了前面提到的 Moloco 的业务规模和领域很适合 AI 研究，Moloco 已经盈利多年这点，也吸引了很多 AI 人才加入。
2023 年时，我们刚刚超过 500 人，现在我们团队的人数已超过 600 人。当然，并不是整个公司都在做机器学习，还有很多其他必要的人员在推动公司发展，包括工程、数据科学、产品等部门。
除此之外，拥有一个有技术远见的领导团队，也很重要。
我和 Ikkjin（Moloco 联合创始人兼首席执行官）之前就认识。2005-2006 年，我与他共同创立了一个名为 Sibyl 的项目。我们的目标是构建有史以来最大规模的机器学习系统。我们希望能够训练 1 万亿个样本，并建立一个拥有可能多达 100 亿个特征的模型，以提升广告效果。
我们的研究团队构建了一个自认为非常出色的系统，但在最初的推广过程中遇到了困难，因为在 2008 年前后，几乎没有人真正看到机器学习的价值。大家认为这项技术复杂且难以理解。
在 2009 年，Ikkjin 在 YouTube 精选视频团队中。在当时机器学习的价值并不被人熟知的情况下，我们密切合作了一年时间，他的项目成为 Sibyl 的首个成功应用，实现了约 20% 的收入增长，增长了大约 2000 万美元。虽然规模不大，但对我们来说，这是首次成功地推出了一个基于大规模先进机器学习的模型，因此非常令人兴奋。此后，我们也一直保持联系。
微调模型是一门精细的艺术
问：Moloco 的成功离不开其在 2016 年就决定从线性模型过渡到复杂的深度神经网络，这也是 Moloco 的技术远见的体现。你能讲讲在当时的环境中，这样的决定意味着什么吗？
Tal Shaked： 2016 年我还在 Google 工作。当时，随着研究的进展和计算能力的提升，基础架构的进步使得深度学习方法在许多场景下能够达到或超越预期效果。
在接下来的几年中，人们不断尝试使深度学习技术发挥作用，结果是成功和失败兼有，但随着研究的持续发展和基础架构的改善，几乎在每种场景下，深度学习方法和其他方法相比，都表现得同样出色，甚至更好。
我在那段时间工作的一个项目是宽深模型，这种模型结合了大规模线性模型（宽部分）和深度模型（深部分）。宽深模型可以实现更复杂的目标，也可以更好泛化。
我想 Moloco 当时也观察到了一样的现象，开始逐渐认识到深度学习不仅在语言处理和图像处理表现突出，在推荐和广告领域的大规模建模技术中也开始变得具有竞争力——在广告中预测和推荐应该向用户展示哪些广告，以及我们愿意为展示这些广告出价多少。
深度学习模型能够擅长处理复杂的目标，能够更好地进行泛化，但它们也更难微调。
问：怎么理解更难微调？
Tal Shaked：我打个比方。数据库有 Oracle、Snowflake、Databricks 等，虽然它们都是数据库，但是它们很不同。机器学习也是一样的。
大家都对聊天机器人有所了解，有时它们会出现「幻觉」，即给出错误的信息，但不同的聊天机器人出现这些问题的方式有所区别。
而我们构建深度学习模型的时候，它们大多数情况下会表现良好，但有时可能会出现一些异常情况，而这种异常行为可能对某个客户产生不好的影响。
当我们训练一个一亿参数的复杂模型，往往会经过成百上千的训练并且包含大量参数，因此找出该模型为什么会出现这种异常行为往往需要大量繁琐的工作：是数据的问题吗？是设计模型的问题吗？如果是的话，如何修复数据，重新设计模型？这就是复杂模型的问题，而且这是一个永无止境的过程。
就像自动驾驶一样。我们其实已经快要实现自动驾驶了，但是总有一些问题——可能是雨天不能正确行驶，可能是在某种情况下它不会左转。在效果广告领域我们也会看到类似的情况，出于某种原因，导致广告投放无法按客户或应用场景的预期完成。这是我们投入大量工作的重要领域。
问：从 2016 年到现在，Moloco 一直使用深度模型，模型有哪些进步？
Tal Shaked：总的来说，进步体现在几个方面。首先是使用了更多数据进行训练。
在机器学习领域，我们始终在寻找更多的数据，以更好地理解用户的应用和意图。通过获得更多的数据，我们可以生成更优的模型。我们希望拥有越来越大的广告集合和用户集合，并实现最佳匹配。随着广告数量的增加、用户的增加以及展示机会的增加，我们获得的数据也会增加。
我们也在不断地思考目标。
我们不能简单地对机器说，所有数据都在这了，你直接告诉我每个用户应该出价多少。我们必须思考如何将问题分解成机器能理解的形式。
我们可能会给机器两组数据：展示广告的时间，用户安装的时间，然后让机器给出用户看到这个广告后安装应用的概率有多高？
但这并不是广告主真正关心的，他们更关心的是用户的长期价值。这时候我们可能需要训练另一个模型，即一旦这些用户安装了这个应用，他们采取某个行动的可能性是多少？他们是不是会注册某些东西，达到某个等级？这本身就是一个全新的建模问题。我们又要用另外的数据去训练这个模型。
进一步地，当用户开始使用应用后，我们可能会想知道他们在接下来的几天或七天内会做多少次购买，这需要我们考虑如何对这些行为进行建模。
如果这个应用有内购或其他为广告主带来收入的事件，广告主会非常关心用户在整个生命周期中的价值。有些广告主可能会关注用户在未来一年或两年的价值。有些广告主有更复杂的需求，他们需要优化 7 天内的投资回报率（ROAS），但之后会跟踪用户在 30 天、60 天后的表现。
没有一个固定的最佳点，我们需要不断地添加新模型、调整目标、观察模型的表现。随着竞争环境的变化，模型也需要适应这些变化。广告主可能会有新的目标，隐私政策可能变化，我们也必须考虑如何将这些目标纳入模型中。
以 Moloco 与 PlayHard 的合作为例，为了解决放置类游戏的特殊难题并提高 ROAS，PlayHard 联手 Moloco，结合一手数据以及 Moloco 机器学习解决方案，通过 D1 事件模型进行营销活动优化等高效的成本策略，最终超出 ROAS 目标 30%，实现了持续增长与高质量获客。
问：说到数据，我们观察到现在许多科技公司限制了 cookies 的使用，这是否会对你们产生影响？
Tal Shaked：虽然 cookies 是了解用户兴趣的一种方式，但我们还可以利用其他数据。例如，发行商在展示广告时，可能会知道一些关于用户的信息。如果他们分享这些信息（类似于 cookies 的功能），这可以帮助像 Moloco 这样的公司找到合适的用户。我们可以从发行商那里获取信息，广告主也可能知道很多关于用户的信息，比如用户玩游戏的时间。
因此，我认为生态系统将会有许多演变方式。我的理想是能够持续掌握建模的能力、获取尽可能多的数据并构建效果优秀系统的能力。
尽管我在加入之前也担忧过关于苹果可能会做出更改的情况，但我们已经做好了充分的准备。我们相信，尽管整体市场可能存在下滑，但我们仍能在这一领域创造更多价值，获取更大的增长。
问：在 Moloco 全球客户中，有很大一部分是游戏客户，这是否与 Moloco 的机器学习算法有关？
Tal Shaked：正如我提到的，数据是构建优秀模型的关键因素之一。不同的数据会使某些模型在特定领域表现更好或更差。
事实证明，我们从实时竞价请求和未归因数据中获得的数据，与游戏行业的需求非常契合。游戏行业通常涉及许多小额交易，这些交易发生在应用安装后不久。
这与零售应用截然不同，零售应用可能涉及不同时间框架内的各种规模的购买行为。例如，对于零售应用，您可能需要理解用户对某类产品的购买偏好，这与移动游戏应用的需求大相径庭。
移动游戏应用关注的是用户在手机上玩游戏的行为，而广告通常会在这一过程中展示。我们能够更好地理解游戏领域中的用户行为，我们所拥有的数据恰好适用于这一领域。
以我们与 Scopely 的成功合作为例，通过利用来自游戏内独有活动的关键游戏数据和先进的机器学习技术，Moloco 与 Scopely 共同开发了推广战略框架，最终 Moloco 在 30 天内推动了超过 100 万次安装，同时超额完成了 ROAS 目标 2.6 倍，《Monopoly GO!》成为全球第一大移动棋盘游戏，帮助 Scopely 实现了快速增长。
我们在游戏领域表现最为突出，并将继续在这一领域发展和专注。但我们也在努力拓展其他领域，例如社交应用、金融应用等，并已取得了一些良好的进展。
AI 在广告领域的进化：生成式 AI 的影响
问：生成式 AI 是目前最热的技术。如何看待生成式 AI 在未来广告领域的进展？
Tal Shaked：一个显而易见的应用场景是广告素材，即实际展示的广告内容。广告素材可以是图片、视频或文本。举个简单的例子，如果我们知道你特别关注免费配送或喜欢折扣，我们可以为你提供这样的广告：例如「现在购买即可享受免费配送」或「获取 10% 的折扣」。通过个性化广告，我们可以提高用户的参与度。这种方法同样适用于图片和视频。
另一个基础应用场景是，当我们制作广告创意时，无法预知哪种素材效果最佳。传统上，需要人工逐一生成每个素材，这是一项费时的工作。如果生成式 AI 系统能够自动生成大量素材，我们可以自动测试这些素材的效果，或者从中挑选出表现最好的几个。这是一个非常直接的应用场景。
进一步来说，如果我们有一个生成式 AI 系统，能够自动回答广告营销中面临的复杂问题，甚至比人工更出色，这也是一个很有前景的应用。想象一下如果有一个超级专家能够提供建议，并利用从其他营销活动中学到的数据进行支持。例如未来你可能收到如下建议：37% 的营销活动中中采用了某种策略，获得了某种结果，建议你可以尝试一下这个方法。
另一个值得探索的领域是如何将产品真正融入视频体验中。例如，如果我们销售一盏灯，我们可以想办法将该灯嵌入到视频中，而不是在视频播放中插入广告，中断用户体验。
虽然这种技术还处于初期阶段，但如果可以在视频中实时编辑，可能会出现更具沉浸感的广告体验。例如，在某个场景中观众正在玩游戏，我们可以在这个场景中插入我们的游戏广告，并针对特定用户进行定向投放。
还有一种未来应用场景，即当你走进商店时，可以看到针对你的个性化广告，这也是生成式 AI 的一种潜在应用方向。
总的来说，生成式 AI 在广告推荐中拥有巨大潜力，虽然有些场景可能还需要更多时间才能实现。
问：在你参与的播客中，你聊到渐进式的技术进步和变革性的技术进步。你认为生成式 AI 会是一种变革性的技术进步吗？
Tal Shaked：其实是相对的。我已经从事机器学习工作大约 20 年了，从学生时代开始就接触这项技术。所以对我来说，生成式 AI 更像是一项渐进式的技术进步。
不过，我确实感觉到生成式 AI 让技术的可及性改变了。突然之间，技术对没有机器学习背景的人也变得触手可及了，比如现在我可以和聊天机器人对话，它真的能理解我。或者我可以创造一张我的孩子穿着万圣节服装的图片，而实际上并不需要真的穿上万圣节服装。
问：你认为机器学习和 AI 这两个词有区别吗？
机器学习是 AI 背后的技术，是实际上支撑着这一切的东西，但 AI 的界面有时让人感觉更加人性化，更自然。
实际上，我并不太喜欢「人工智能」这个词，我更喜欢称之为「机器智能」。因为「机器智能」和「人类智能」是不同的。计算机的计算方式不同，数据存储方式也不同。
比如，计算机可以看一张狗的图片并识别出每一种狗的品种，我不确定我们中的任何人能做到这一点。做到这点对计算机来说是微不足道的。然而对人类来说，这是一件很了不起的事情。
所以我认为，计算机将会更好地解决或执行越来越多的任务。
我还喜欢另一种关于 AI 的观点，我称之为增强智能，即计算机和人类的结合可以做出更好的决策。
比如我们现在的广告平台，有一个非常好的自动化系统，但我们的客户仍然具有我们不拥有的洞察。他们可能会说，不要在这个国家展示这个广告，因为他们知道它不会表现得很好。因此，我认为人类的理解和计算机的优化结合在一起，实际上可以带来更好的结果。
所以我认为，更重要的是我们现在能够以能让更多人接受的方式来解决问题。这将带来许多新项目，因此我认为我们将看到更多这样的创新合作，未来我们会看到更多这样的「合作驾驶」模式。我更喜欢「增强智能」这个词不是「AI」，不过我也意识到，在这个问题上，我可能是少数派。
问：那你认为，会不会有些任务是机器永远无法取代人类的？
Tal Shaked：对我来说，要展望未来是很难的。这也是为什么我认为短期内更有可能实现的是「增强智能」，即人类和机器协同合作提供更好的体验。
例如，你在写一篇你希望人们觉得有趣的文章时，你可能更了解读者在阅读时可能产生的情感，以及什么可能会让他们感到惊讶。因为你是在为其他人类创造内容，计算机可能会帮助你，但我不确定它们能否理解所有的细微差别。
AI可能会帮助你校对并避免错误，让文章读起来更顺畅。但人类更擅长的可能是真正理解读者在阅读后的感受，至少在我目前能预见的未来是这样的。
这对未来意味着什么呢？我认为人类的工作将继续演变。比如说软件领域，我们现在有了辅助开发工具，这使得开发人员更加高效。但我们仍然无法让软件自动生成一份设计文档并编写 10 万行代码，同时保证这些代码都能正常工作。因此，我认为未来会有更多的工作岗位演变，人们会变得更高效，因此他们就可以花更多的时间在其他任务上，可能是更有创意的任务。这就是我对未来的期望，不过越远的未来，就越难预测。
问：你的职业横跨整个 AI 的发展历程，也与许多 AI 公司接触过。对于在当下想在自己的业务上面使用 AI 系统的公司，你有什么建议吗？
Tal Shaked：我在 2004 年加入谷歌时，Google 内有许多人将搜索质量视为艺术，投入大量精力让那些具备深度领域专业知识的人，去打造出相关的功能和排序系统，以保证用户在谷歌搜索出的结果进行排序展示。
当时我们团队有大约 50 人，每天都要写出几千行「if-else」和其他复杂的逻辑判断语句，来决定搜索结果的排名。那个排名算法看起来就像是：如果这个词出现在这里，加分；如果这个词出现在那里，减分；如果这三个词一起出现，则这样做。如果在某个国家出现这个词，则那样做。大概有 6000 行的 if-else 逻辑。
我当时提出了一个想法，我们可以把把所有这些信号交给机器学习处理。只要我知道哪些结果是好的，哪些结果是坏的，我应该能够比人工更好地进行排序。最后，机器学习驱动的排名系统几乎在各方面都碾压了人工打造的系统，除了一项关键指标：解释某个特定搜索结果出现的原因，以及如何修正不理想的结果。
机器学习有时会犯错，而且可能会犯一些人类无法理解的错误。如果它犯了错，你怎么修复？我觉得需要给它更多的数据，给它更好的功能，但其他人可能会说不能这样。
虽然我没有成功推出当时那个机器学习系统，但从中学到了很多东西，比如如何分析系统为什么会显示某个结果，如何修复它，哪些数据是不准确的，为什么信任某个目标。这些问题在今天仍然需要被关注，而这也是大部分公司在开发机器学习产品时所面对的挑战。
现在，每个人都知道在很多情况下使用机器学习是正确的选择，但仍然很难做到。所以，我们还在面对当年遇到的挑战。
我们可以运行开源代码并在数据上执行算法，这不难。但构建一个真正有效且优于其他产品的产品却非常难。即使我们不使用机器学习，如何使用它、如何调试它、如何理解它，并让它对用户友好，仍然需要大量的创造力和创新。
我建议人们在首次使用机器学习时，最好从最简单的开始，比如基于规则的解决方案。我在 Snowflake 时曾经看到过一些公司会在一开始就尝试使用最复杂的解决方案，但公司中没人理解其运作原理，甚至起不到任何作用。后来他们发现，简单的方法比之前的效果好 50%。我认为每家公司应该走过类似的旅程：获取正确数据、从简单模型开始，逐步增加复杂度。
同时，使用深度学习和让深度学习真正发挥作用是不同的。你能从未标注的数据中获得多大的收益？通过不断学习、多任务训练、使用序列模型、注意力模型以及其他变体，能够在某些特定问题上表现不错。这通常需要大量的实验和经验才能掌握。因此，每家公司都处于不同的发展阶段。整个行业都在探索这一点。
大型科技公司进行大规模的研究，幸运的是，他们将这些研究开源，云计算公司也在竞相提供基础架构，使这些新想法为任何公司所用。我认为这是技术开源、支持先进机器学习的云计算环境以及具备实际操作能力的人才相结合的结果。现在这些条件都已具备，这也是为什么我们看到越来越多的公司开始应用这些技术。
问：你个人也有很传奇的背景。最初，你是一个国际象棋棋手，后来才转型成为 AI 专家。在生成式 AI 时代，技术的可及性前所未有地高，对于没有技术背景但是想要了解、使用甚至掌握 AI 技术的人，你有什么建议吗？
Tal Shaked：好的一点是，现在有很多 API 可供人们自己尝试。但我觉得亲自实践非常重要，最好从你熟悉的领域入手，这样你可以更好地理解它的优缺点，以及解决的方式。
因为很多时候人们只看技术演示或文字时，只会突出某一些方面，要么是它的强项，要么是过分的负面评价。而如果你在与你理解的领域内与一个生成式 AI 系统互动，你可以更好地理解它的优点和可能的缺点，能够更好地校准自己的认知。
同时也要意识到这些系统在解决问题时常常面临挑战。我听说过很多案例，一些公司尝试用生成式 AI 替代现有的搜索能力，但经过几个月的尝试发现效果很差。人们对准确性有一定的期望，如果达不到这些期望，就会面临问题。而一些传统的方法，比如基础的关键词搜索，其实实践效果还不错。
聊天机器人可能会出现「幻觉」，它们可能不会像你那样了解你熟悉的领域。因此，就是我为什么强调让人们亲身体验，了解它的强项和弱点，并认真思考它不能做好的事情如何解决，如何让 AI 真的在产品体验中发挥作用。
除此之外，除了机器学习，你仍然必须完成所有的软件开发工作，因为有时候会面临微调模型的问题。所以，有时候，人们想在不写任何代码的情况下完成机器学习，我都会评价这比真的用代码进行软件开发要难得多。我认为，当你在构建使用机器学习的东西时，你可能需要准备好做大量的软件开发，以处理所有的数据问题。
另外就是，要有实际的预期。你可以学会如何训练一个模型，并不断改进它，但这并不意味着你就可以构建一个高效的广告系统。你可能会知道如何训练一个模型，但这远不够。很多人低估了的是，构建模型通常只是解决了一小部分问题。
实际上，如果你走进硅谷，大多数人并不是在构建模型。构建模型的是一个小团队，但很多人是在处理数据评估、监控、报告、营销活动管理等工作，如何理解绩效表现，如何为客户增加新的产品功能，所有这些都需要配合机器学习系统，而且机器学习的工作方式会影响这些内容。我认为这是非常难做到的事情，同时这也是人们在学校学习中往往难以掌握的经验。
