如何有效使用合成数据和模拟数据

原文：towardsdatascience.com/how-to-use-synthetic-and-simulated-data-effectively-04d8582b6f88?source=collection_archive---------9-----------------------#2024-04-11

https://towardsdatascience.medium.com/?source=post_page---byline--04d8582b6f88--------------------------------https://towardsdatascience.com/?source=post_page---byline--04d8582b6f88-------------------------------- TDS 编辑

·发布于 Towards Data Science ·通过 Newsletter 发送 ·阅读时长 3 分钟·2024 年 4 月 11 日

–

使用合成数据并不是一个新做法：它已经成为一种有效的方式，帮助从业者在现实世界数据集无法访问、无法获取或因版权或使用许可问题受限时，为他们的项目提供所需的数据。

最近，LLM（大规模语言模型）和 AI 生成工具的兴起已经改变了合成数据的领域，正如它改变了机器学习和数据科学专业人士的许多其他工作流程一样。本周，我们将展示一系列最新的文章，涵盖你应该关注的趋势和可能性，以及如果你决定从头开始创建自己的玩具数据集时需要考虑的问题。让我们一起深入了解吧！

• 如何使用生成型 AI 和 Python 创建设计师假数据集如果你已经有一段时间没有遇到需要合成数据的情况，不妨看看Mia Dwyer的简明教程，里面概述了一种使用 GPT-4 和一些 Python 编程来创建假数据集的简化方法。Mia 的方法相当简单，你可以根据自己的具体需求对这个方法进行调整和扩展。

• 创建合成用户研究：使用人物角色提示和自主代理对于一个更为高级的应用场景，也依赖于生成式 AI 应用的力量，我们推荐阅读Vincent Koc的合成用户研究指南。该方法利用自主代理架构，“在模拟研究情境中创建和与数字客户人物进行互动”，使用户研究既更易于接触，又不那么耗费资源。

• 合成数据：好、坏与未整理使用生成数据解决了一些常见问题，但也可能带来一些新的问题。Tea Mustać关注了一个有前景的应用场景——训练 AI 产品，这通常需要大量数据——并分析了合成数据可以帮助我们绕过的法律和伦理问题，以及它无法解决的问题。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/dcedd34eb5d291067c30d107667ee4af.png

图片由Rachel Loughman提供，来源于Unsplash

• 模拟数据，真实学习：情景分析在他的持续系列中，Jarom Hulet探讨了模拟数据如何帮助我们做出更好的商业和政策决策，并从中提取有力的洞见。在前几篇文章中介绍了模型测试和功效分析后，最新的一篇重点讨论了模拟更复杂情景以优化结果的可能性。

• 评估合成数据——百万美元的问题每一个依赖于合成数据的过程背后的主要假设是，合成数据足够接近其模拟的真实数据的统计特性和模式。Andrew Skabar 博士提供了一份详细指南，帮助实践者评估其生成数据集的质量，以及这些数据集在多大程度上达到了这一关键门槛。

欲了解更多引人深思的文章，涉及话题从数据职业发展到多臂摆，我们邀请您探索以下几篇近期亮点：

• 在生成式人工智能工具的背景下，版权问题继续主导着行业的讨论；Stephanie Kirmer分析了这一问题的利害关系，并在她的最新深度剖析中展望了未来。

• 我们很高兴欢迎Fraser King回归，他分享了一个简明易懂的讲解，介绍了他关于使用深度学习进行雷达盲区图像修复的研究。

• 如何才能从数据科学家转型为机器学习/人工智能产品经理？Anna Via基于她过去几年的亲身经验，提供了成功转型的务实建议。

• 寻找产品市场契合度是每个创业公司的目标——也是一个常常难以实现的目标。Myriam Barnés提出了一种基于用户数据的定量方法，重点关注增长和群体分析。

• 数据团队要有效地扩展其平台可能会面临困难；Mahdi Karabiben概述了帮助数据管理者的几个关键原则，帮助他们保持正确的方向。

• 最后，在理论层面，我们邀请你阅读Oliver W. Johnson的首篇 TDS 文章，文章通过 VPython 模拟来建模混沌运动并探讨混沌系统的定义。

感谢你支持我们作者的工作！如果你感到受到了启发，为什么不写下你的第一篇文章呢？我们非常期待阅读。

直到下一个《Variable》，

TDS 团队