为ChatGPT等提供安全护栏 Calypso AI获1.6亿元融资

6月28日，为AI提供安全防护的CalypsoAI在官网宣布，获得2300万美元（约1.6亿元）A-1轮融资。本次由Paladin Capital Group 领投，洛克希德·马丁风险投资、Hakluyt Capital等跟投。

最近，CalypsoAI发布了为ChatGPT等大语言模型提供安全护栏的产品，其功能与前几天「AIGC开放社区」介绍的同类开源产品LangKit（点击查看）差不多。CalypsoAI还提供了恶意代码检测、越狱预防等特色防护功能。

总体来说，这类产品相当于大语言模型界的“360安全管家”，主要解决数据隐私、安全防护、输出非法信息等难点，以加快金融、医疗、法律等行业对ChatGPT等生成式AI产品的场景化落地。

随着ChatGPT、Midjourney等产品火爆出圈全球掀起了新一轮AI变革，各行业通过集成、自研等方式将大语言模型、生成式AI产品集成在应用、业务中实现降本增效。但数据隐私、安全问题受到了全球多数国家的重点关注，欧盟、北美甚至出台了严格的监管框架。

但这种停留在纸面上的监管无法从根本上解决实际问题，因此，为ChatGPT等大语言模型提供安全防护成为一个发展迅速且有潜力的赛道，作为资深AI防护企业CalypsoAI瞄准这一商机，迅速发布产品并获得了资本市场的青睐。

资料显示，CalypsoAI创立于2018年，总部位于美国旧金山。CalypsoAI曾在2019年4月，获得220万美元种子轮融资；2020年7月，获得1300万美元A轮融资，目前总融资额度为3820万美元。CalypsoAI主要为军方、政务、企业等提供AI防护，包括应用环境评估、功能测试、AI应用深度定制开发等，美国国土安全部 、美国空军、航空部等皆是其客户。

随着ChatGPT的火爆出圈其安全问题也越发明显，CalypsoAI通过多年积累的AI防护经验发布了专注大语言模型的防护产品——CalypsoAI Moderator。功能方面，CalypsoAI Moderator主要提供数据隐私和安全、恶意代码检测、越狱防护、数据质量验证等功能。

数据隐私和安全：

使用者经常会将敏感数据输入到ChatGPT等产品中，例如，内部代码、机密文件，造成数据泄露产生安全隐患。CalypsoAI Moderator会扫描用户上传的数据文件，当发现敏感数据时会提醒用户正在进行危险操作，同时会记录下哪位员工在什么时间进行了这些操作，方便以后用于审查。

越狱防护：

用户为了让大语言模型输出非法内容，例如，如何进行更专业的入室偷窃，会进行一些诱导性的提示输入。CalypsoAI Moderator会自动扫描这些逆反、有害、非法的提示内容，同时可以为大语言模型设定安全护栏，防止为这些危险提示提供内容输出。

恶意代码检测：

用户可能会向大语言模型输入一些有害的代码，例如，会让系统直接崩溃。CalypsoAI Moderator会实时扫描用户输入的每一段代码，并快速识别是否存在危险。如果有害，则直接组织输入到大语言模型中，并记录所有交互细节方便以后安全分析。数据安全方面，CalypsoAI表示，永远不会窃取、复制用户的数据，所有扫描的数据全部会留在用户系统中，不会自动上传到CalypsoAI的平台，或用于训练其他模型。

CalypsoAI创始人兼首席执行官Neil Serebryany 表示，很多组织因为大语言模型带来的诸多安全问题，而放弃对其使用。现在，CalypsoAI Moderator可以为企业、政务提供一站式大语言模型安全防护，帮助他们解决这些难题加速应用进程。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/