毫无疑问,人工智能 (AI) 行业正处于蓬勃发展阶段,各种新技术层出不穷--但随之而来的还有炒作、怀疑、焦虑和好奇。我们 Retool 对务实的态度很感兴趣,因此我们希望了解开发者究竟在如何利用 AI、他们在构建什么,以及哪些 AI 应用正在企业中真正发挥作用。
我们是否已经摆脱了演示软件和商品化模式,进入了真正的用例和可观的 ROI 阶段?我们是否正在这个聊天机器人时代蓬勃发展?AI 堆栈的平均功能有多强?
为了找到答案,我们邀请了 750 位技术人员--包括开发者、数据团队、领导层以及来自不同技术角色和行业的其他人--分享他们的看法。接下来,让我们一起深入了解一下吧!
在 2023 年的报告中,受访者对 AI 持谨慎态度,大多数人认为 AI 被略微高估了。进入 2024 年,情况并没有太大变化:
即使按角色细分,所有资历级别的平均评分都在 5 分左右(介于“相当中肯”到略微“高估”之间)。在经历了 2023 年的跌宕起伏之后(可以说,AI 很难达到人们的预期),人们似乎对 AI 的相对不成熟、目前的局限性以及巨大潜力有了更清醒的认识。
在受访者的回复中,我们感受到了这样一种情绪,即咄咄逼人的炒作暂时掩盖了 AI 的真正潜力:
AI 被强行塞进了产品中,却没有真正增加价值。(¬◡¬)✧ (还记得“我们用 HOTLANG 重写了一切”吗?)
AI 正被当作一把万能的锤子,包括在传统编程足以胜任或优于 AI 的情况下,而无需面对乏味的提示和幻觉。
看来,要在日常技术和业务用例中找到真正有用的人工智能应用,仍需经历一番仔细甄别,但受访者对人工智能应用的实用性和广泛性的未来持乐观态度。
尽管媒体对 AI 的主流论调是,AI 的应用和效用正在激增,并将席卷全球,但至少就目前而言,现实情况要温和得多。
也许大家都在使用 AI,但大多数受访者都清楚,他们距离最高级别还有很长的路要走。许多受访者对自己公司的评价都很好,约 30% 的受访者认为自己公司在应用方面要么“领先”,要么“非常领先”,其中咨询业 (46%)、房地产业 (46%) 和消费品行业 (37%) 的受访者对自己公司的评价最高。但总体而言,认为自己处于领先地位(也称为“飞跃”)的受访者从 2023 年的 13.4% 下降到 2024 年的 9.8%。
100% 的材料部门受访者表示,他们在这一领域的发展相对滞后 (๑•́ ₃•̀๑) (尽管样本数量相对较少);80% 的非营利组织受访者也是如此。
此外,受访者指出的进展大多不具有颠覆性(正如对异常值的报告可能会让你相信的那样)--至少目前还不是,这些用例的影响平均为 6.7 分(满分 10 分)。随着我们对采用过程中障碍和挑战的认识越来越清晰,现实情况也逐渐浮出水面。
在所有角色、团队和级别中,只有一小部分受访者 (4.5%) 认为他们的公司在 AI 方面投资过多,而“恰到好处” (42%) 和“不够” (40.5%) 之间的比例相当平均。
进一步细分可以发现,实践型领导者--总监、经理和副总裁--比软件工程师更希望获得 AI 投资。
从公司规模来看,拥有 50-99 名员工的公司最倾向于增加 AI 投入 (50%),其次是拥有 5000 名以上员工的公司 (45%)(所有其他规模的公司都在 33-42% 之间,没有线性关系)。(在技术团队中,IT 员工最看好增加 AI 投资 (49%)。而我们设计团队的朋友们则不太赞同 (33%)。)
近四分之三的受访者每周至少在工作中使用 Copilot 或其他 AI 工具(如 ChatGPT、Claude 等),其中 56.4% 的受访者接近每天使用。在规模最小的公司(1-9 名员工)中,这一比例飙升至 72%,其次是 10-49 名员工的公司,为 59%(大多数其他规模的公司都在 50% 左右徘徊,而在 1000-4999 名员工的公司中,这一比例降至 43%)。
按角色划分,产品和工程部门的日常采用率最高,分别为 68% 和 62.6%,而设计部门的采用率仅为 39%。(ε٩(๑ ₃ )۶з 我们看好 AI 的 IT 界朋友处于中间位置,为 50.1%)。
总体而言,绝大多数在工作中使用 Copilot 或其他 AI 工具的受访者都表示,这样做提高了他们的工作效率:
使用 AI 工具越多,就越有可能发现它们的价值:64.4% 的日常用户表示,他们的工作效率得到了显著提高,而每周用户和偶尔使用的用户分别只有 17% 和 6.6%。(这很合理,对吧?)
在上一次调查中,我们提出了一个大胆的问题:你是否在工作中偷偷使用 AI?结果发现,有相当一部分人 (34.4%) 这样做。这一次,我们想看看这个问题的趋势,更好地了解发生了什么。接下来,让我们来分析一下。
与 6 个月前相比,现在获准在工作中使用 AI 的受访者比例更高 (64.2% 对 54%),但仍有超过四分之一 (27.3%) 的受访者在工作中秘密使用 AI。与 2023 年相比,这一比例呈下降趋势,但考虑到 AI 功能在当今企业技术堆栈中的激增,这一比例仍然有些出人意料。那么,为什么还要遮遮掩掩呢?
在秘密使用 AI 的企业中,只有约 9% 的企业是直接违反公司政策来使用 AI 的 -- 其他动机则与内部协调和对使用 AI 的看法有关,或者是因为政策不明确。自去年以来,人们对在工作中使用 AI 的兴趣总体上有所上升(甚至是用于总结会议记录等可以说是良性的用例),而监管却没有跟上采用的步伐,这可能会创造出一个有点“灰色地带”的环境......
(说到这里,62.9% 的受访者至少在一定程度上关注新兴的 AI 法规和政策)。
如果你最近上过网,你可能会发现,关于哪些工作岗位可能会因 AI 而消失的讨论非常热门。随着“日常 AI”成熟为实际用例和 ROI,我们是否真的应该担心人类与机器的对决?软件工程会过时吗?
我们的受访者对此有一些想法。有 15.3% 的受访者认为,没有人会面临被 AI 取代的风险(新技术=更多需求=更多工程资源需求,对吧?(¬◡¬)✧) 在书面调查中,情况变得更加微妙--变化是一种合理的预期。毕竟,如果入门级软件工程师被取代了,那么中高级软件工程师从何而来呢?
中层管理人员位居第二 (13.2%),但在那些中层管理人员主要负责监督而非战略的公司,很容易想象这些职能会在某种程度上实现自动化。(另一方面,通过自动化腾出时间可能会让这些中层管理人员更具战略性......!)
与此相关(或不相关)的是,高管们对采用 AI 的热情一直很高:C 级管理层受访者是 AI 的最大日常用户群体,约占 72%(其他角色约占 45-56%)。他们还报告说,与其他角色相比,AI 带来的影响和生产力提升幅度最大,这进一步表明 AI 与其说是一种威胁,不如说是一种工具。(我们的 2023 年报告发现,C 级管理层和副总裁对 AI 改变其角色的期望最大,因此投资于 AI 技能提升是一致的)。
也许这一切都说明了一个机会:利用 AI 作为杠杆,可以帮助领导者和软件工程师为自己创造一条护城河。可以说,竞争可能不是人类与 AI 之间的竞争,而是人类与使用 AI 的人类之间的竞争。(许多书面回复都支持这一观点!)
你发现了没?好像所有人都在搞 AI 驱动的聊天机器人!٩(๑◡๑)۶
调查显示,超过一半的受访者(55.1%)表示已经亲自构建了 AI 聊天机器人,或者他们公司已经有了 AI 聊天机器人。更有意思的是,有 16.8% 的受访者一口气创建了三个甚至更多聊天机器人!
虽然聊天机器人如此火爆,但也有人对此感到厌倦了 (¬_¬)。他们觉得这些聊天机器人就是目前所有“AI”功能或产品的全部,有点审美疲劳了。不可否认,从各种实际案例来看,聊天机器人在面向公众的 AI 应用中确实占据了主导地位(包括那些由 RAG 增强型的支持机器人,比如 Klarna 公司高调推出的聊天机器人)。但话说回来,这些机器人之所以这么引人注目,或许仅仅是因为它们数量庞大,而且是目前最容易实现的 AI 用例罢了。接下来,聊天机器人的热度是会逐渐消退,还是会继续火下去呢?让我们拭目以待吧!(๑•̀ㅂ•́)و✧
虽然支持类型的聊天机器人通常被视为 AI 的“典型”用例,但在受访者最喜欢的即时内部使用案例中,它只排在第三位。编写代码或查询以 42.1% 的比例高居榜首,紧随其后的是知识库问答,占比 36.4%。至于内容生成用例,大家的看法则褒贬不一。
偷偷告诉你,为了保证报告的原创性,我们可没有用 AI 来生成报告内容哦!(¬◡¬)✧
与我们上次在 2023 年末的调查结果相比,大多数用例的比例变化都在几个百分点以内。不过,有几个领域的变化接近 5%,值得我们持续关注:
编写代码或查询的比例从 47.5% 下降到 42.1%,下降了 5.4 个百分点;文案生成的比例也从 32.9% 下降到 28%。
支持聊天机器人的比例上升了 5 个百分点,从 28.9% 上升到 33.9%。
工作流程自动化的比例从 12.9% 跃升至 17.8%,上升了近 5 个百分点。看来大家越来越重视效率提升了呢!(๑•̀ㅂ•́)و✧
乍一看,支持部门在 AI 应用方面似乎落后于其他部门(排在工程、市场、数据科学、产品管理和运营之后,位列第六),这似乎有些矛盾,尤其是考虑到支持聊天机器人在即时内部使用案例中仍然名列前茅。
但实际上,支持聊天机器人的使用率与实际使用 AI 应用的支持团队比例只相差了几个百分点。当然,如果我们对向客户提供 AI 支持持谨慎态度,也是可以理解的。毕竟:
受访者在开发 AI 应用时遇到的三大难题中,有两个是模型输出准确性/幻觉(38.9%)和数据访问/安全性(33.5%),这两个问题与 2023 年的调查相比基本保持不变。看来 AI 的稳定性和安全性依然是大家关心的重点啊 (눈_눈)
对于模型输出结果的信任度,所有角色的评分普遍不高,平均分仅为 6.1 分(满分 10 分)。这表明,即使受访者普遍喜欢并希望继续使用 AI 模型,但对其结果的可靠性仍持保留态度。
关于 AI 应用的未来,大家的看法出现了分歧。只有 8.5% 的受访者认为 AI 在外部用例中更有前途,而 57.9% 的受访者认为内部和外部用例的前景不相上下,还有 33.7% 的受访者更看好内部用例。
报告认为,在让客户承担风险之前,公司更倾向于先降低风险,尝试使用内部 AI 应用,让团队成员能够自助解决问题,提高工作效率。毕竟,肥水不流外人田嘛!(¬◡¬)✧
我们已经大致了解了受访者正在构建的 AI 应用类型以及目标用户,那么接下来会发生什么呢?未来哪些用例、应用或技术趋势会让人们兴奋不已,并推动他们积极使用 AI 进行开发呢?让我们来看看问卷调查中的一些趋势吧!
总的来说,一些受访者对 AI 在当前世界的应用场景充满热情,例如协助生成初稿和宣传材料、分析文本、协助编写和调试代码等等。但也有人认为,AI 目前的用途还很有限,就像一只被关在笼子里的雄鹰,无法展翅高飞。
不过,大家普遍期望,随着 AI 技术的成熟以及我们利用 AI 进行构建的集体能力的提高,未来将会出现更多令人眼前一亮的新用途。AI 的未来充满无限可能,让我们一起期待吧!٩(๑◡๑)۶
随着越来越多的开发者一头扎进 AI 应用程序的海洋,探索着用最短的木板搭建最高效的 AI 摩天大楼,我们对他们手中的工具产生了浓厚的兴趣。(¬◡¬)✧ AI 堆栈中,哪些工具像定海神针一样稳固?哪些环节又像工程一样不堪重负?模型定制化的程度究竟有多高?GPU 的分配究竟有没有人真正了解?让我们带上这些问题,深入 AI 的世界一探究竟吧!
OpenAI 模型仍然是生产环境中最常用的模型,就像一个经验老道的领航员,引导着近四分之三(76.7%)的 AI 用户。其中,GPT-4 更是以 45% 的比例一马当先,紧随其后的是 GPT-3.5,占比 25%。(我们没有调查 GPT-4o,因为它在调查时才刚刚崭露头角。不过我敢打赌,受访者们现在已经在跃跃欲试了)。这种模式就像 DNA 一样,深深地印刻在不同行业和不同规模的企业中。
尽管 OpenAI 占据绝对优势,我们还是发现了一些有趣的新秀:Anthropic 的 Claude 3 的数据相比我们上一期报告翻了不止一番,这还不包括早期的 Claudes。(Mistral 最近也完成了一轮融资,成功登上榜单。
当然,我们也听到了一些对 GPT 的“老生常谈”的抱怨(例如“我希望它在不知道的时候直接说不知道,而不是编造信息”),但总体而言,受访者对他们的模型还是比较满意的。超过三分之一(35.5%)的受访者表示非常满意或基本满意,34.5% 的受访者表示至少有点满意,只有 11.9% 的受访者表示没有考虑过这个问题。而在那些希望改变 AI 堆栈的受访者中,只有 17.1% 的人是对他们的模型提供商不满意,12.3% 的人只是想从同一提供商那里更换不同的模型。
大部分受访者都对模型进行了一定程度的定制,就像为自己的 AI 量体裁衣。其中最常见的方式是对现有模型进行微调(29.3%)或使用矢量数据库或 RAG(检索增强生成家居设计工作室,23.2%)。(超过 5000 人的公司使用矢量数据库或 RAG 的比例比平均水平高出约 10 个百分点,达到 33%)。
为了保证应用程序的准确性,就如同打磨一件工艺品一样,团队采取了多种方法:最受欢迎的是来自用户的反馈循环(39.5%),其次是及时的工程迭代(36.4%)以及模型监控和评估(35.9%)。
我们还从受访者的反馈中捕捉到他们对模型偏差和公平性的普遍担忧。近 30% 的受访者表示他们不关心或不知道如何解决模型中的偏差和公平性问题,这种担忧并非空穴来风。(还有 25.9% 的受访者表示,他们目前还没有解决这个问题,但希望将来可以解决。)
这个问题可以从几个层面来看:有些公司可能希望基础模型已经内置了偏见纠正功能,有些偏见问题可能不适用于他们使用 AI 的输入和任务类型(例如,编写单元测试与撰写营销文案),还有一些...... 人可能真的不在乎。
在处理偏差和公平性问题的用户中,最常用的方法是定期审计和审查(30.4%)、数据扩充和偏差纠正等预处理技术(23.8%)以及处理后的公平性调整(17.8%)。
深入挖掘数据,我们发现 17.7% 的受访公司正在构建自己的模型,这就像一些公司决定自己建造房屋,而不是购买现成的。值得注意的是,金融服务公司的这一比例仅为 11%。一些公司可能会从定制 LLMs 中受益,因为它可以提供先进的数据安全性、对市场变化的适应性以及定制服务和工具。但考虑到培训模型和持续维护的初始成本较高,看到这么多公司选择这条道路可能会令人惊讶。
如今,大部分受访者 (63.6%) 表示正在使用矢量数据库,相比 2023 年的 20%,就像坐上了火箭一样,实现了飞跃。(人们使用矢量数据库越多,就越会推荐使用。这是不是一种“真香”定律呢?)
更进一步说,大公司的员工最有可能使用矢量数据库或 RAG 来定制他们的模型。(在 5000 人以上的公司中,这一比例达到了 33%)。
诚然,使用矢量数据库在配置检索块长度、如何将数据输入模型等方面会带来更多的“可调节旋钮”。因此,老用户特别满意的数据库就显得尤为难得了。MongoDB 延续了我们在去年报告中看到的强劲势头,其老用户满意度 (NPS) 最高。Chroma 紧随其后,在 NPS 排行榜上不断攀升。(Qdrant 的表现也值得称赞。虽然样本数量少得多,家居设计工作室但他们的用户同样非常满意)。
在为项目评估和比较矢量数据库时,最常用的方法是使用性能基准(40%),其次是用户评论和社区反馈(39.3%)以及概念验证实验(38%)。
略占多数的受访者(51.9%)表示根本没有使用推理平台,考虑到相关的硬件要求和培训成本,家居设计工作室这并不奇怪。(开发 AI 应用程序的第二大痛点是缺乏可用的专业技术/资源,占 38.2%)。
在使用推理平台的用户中,Amazon Sagemaker(13%)和 Databricks(8.6%)是两个使用较多的平台家居设计工作室,其他平台的使用情况则相对平均。家居设计工作室(Databricks 的用户满意度得分最高)。
大多数公司(59.1%)都在使用某种形式的额外工具进行 AI 开发,无论是自制的还是现成的。(在只使用一种工具的公司中,HuggingFace 的使用率遥遥领先,有 15.8% 的公司报告使用过 HuggingFace。从比例上看,使用 HuggingFace 的公司比调查中的任何其他工具、模型、推理平台或数据库都要多!)定制工具(10.6%)是使用第二多的解决方案。(Braintrust 的使用率虽然处于中等水平,但在满意度方面却位居第二)。
在使用一种以上解决方案的用户中,LangChain(21.3%)和 HuggingFace(20.1%)是使用最多的。略占多数的受访者(56%)使用框架来构建用户界面。
值得注意的是,40.9% 的受访者没有为 AI 开发引入任何额外的工具。因此,随着团队建立 AI 开发堆栈,这种情况将会发生变化并逐渐稳定下来。
模型训练和实施的成本是很多工程领导者最关心的问题,为了探究这个问题,我们调研了各公司是如何处理 AI 硬件和资源分配的。
结果表明,只有少数公司 (13.2%) 自己拥有或运营 GPU ,其余公司选择租用,其中,从主流云提供商租用的比例为 38.9%,从新兴提供商租用的比例为 15.8%。还有接近三分之一的公司根本没有直接使用 GPU。
至于 GPU(租用或自有)的运营成本是否能带来正向 ROI ,目前还无法下定论:略占多数(53.7%)的公司表示能带来正向 ROI家居设计工作室,30.6% 的公司表示不能或不知道(分别为 5.1% 和 25.5%)--这或许表明了衡量 ROI 的挑战性。
尽管如此,对 GPU 的投入可能与公司规模息息相关:规模最大的公司(5000 人以上)最有可能表示使用 GPU 带来的 ROI 为正(40%),而规模最小的公司(1-9 人)最不可能表示使用 GPU 能实现收支平衡或带来更好的回报(19%)。
在试图评估公司对 GPU 资源的分配情况时,情况变得更加扑朔迷离,47.7% 的受访者表示“分配得当”,52.3% 的受访者表示“分配不当”或“不知道”:
有趣的是,GPU 的 ROI 并不一定与分配的“正确性”挂钩。在被问及公司的 GPU 分配情况时,将近一半(46.8%)的受访者回答“否”或“不知道”,但他们仍然表示至少从公司对 GPU 的投入中看到了一些回报。
那些认为其公司正确分配 GPU 的受访者 (72.7%) 更有可能表示其 GPU 投资获得了正向 ROI 。随着 AI 堆栈的不断发展,企业可能需要持续地重新评估 GPU 分配。
[重塑 AI 的插曲:我们有一套 AI 工具可以提供帮助。使用 Retool 免费构建安全的 AI 应用和 Workflow。
综合这些痛点,我们发现,大多数障碍其实并不是 AI 技术本身所特有的。数据安全、资源、成本和组织方面的挑战(如获得支持)仍然是最大的障碍,它们如同前进路上的拦路虎,阻碍着 AI 的发展。
至少就目前而言,受访者在 AI 堆栈中发现了他们比较满意的领域,以及有待改进的领域。
然而,在两极分化的数据中,非常满意的受访者 (10.2%) 是希望完全重新开始的受访者 (4.5%) 的两倍多。
按行业划分,医疗保健行业 (45%)、教育行业 (43%)、咨询行业 (42%) 和非营利行业 (40%) 的受访者最有可能表示对他们的堆栈非常满意或基本满意。(材料行业的满意度也很高,但样本数量明显较少)。能源行业 (15%) 和政府行业 (21%) 的满意度明显偏低。按公司规模划分,所有公司的满意度都在 30-40% 之间,没有异常值。
继续往下看:大多数人 (72.1%) 知道他们需要作出哪些改变,有时甚至是多方面的改变:
似乎在堆栈的中间部分还有一些工作要做--虽然整体情况看起来不错,但在工具和模型之间进行更灵活的切换,可能会让那些使用 AI 进行构建的人获得他们想要的结果(和满意度)。
关于下一步的发展,受访者分享了他们对 AI 堆栈发展的希望、梦想和期望:
很明显,在个人层面上,AI 对人们的工作方式产生了重大影响,无论是集成电路开发人员、产品团队还是高层领导。同样明显的是,企业仍在摸索如何最有效地利用 AI 这一不断发展的技术。但有迹象表明,开发人员正在构建和关注的内容,以及所有人员如何思考 AI 在生产中的作用,都在走向成熟和完善。
综上所述,也许我们可以开始绘制一张路线图,或者至少是一些指示灯,告诉我们领导层如何帮助开发人员进入下一个篇章。开发人员需要的不仅仅是更好的 AI 技术和工具,还需要高管的支持、充足的人员配备和资金以及强大的数据管理,才能打造出真正具有 ROI 的 AI 应用,让人工智能项目取得成功。
我们有机会以身作则,明确对 AI 的期望,并确保为开发人员提供合适的工具,以便快速构建、迭代和学习。
59.9% 的受访者认为未来 10 年出现 AGI 的可能性很高、非常高或确定。2.7% 的人认为它已经存在。ChatBox 会怎么看?(¬◡¬)✧