动动嘴就能指挥你的电脑干活了!

朋友们,现在要写个代码、处理几个文件连字都不用打啦。

您手中端握持着咖啡, 倚靠于阳台的椅子部位, 冲着胸前恰似硬币一般大小的麦克风讲说——。

给我弄一个用户登录相关的模块, 其中得涵盖手机号验证码登录方式, 也得有密码登录方式, 还得具备微信登录方式。对于安全方面要加以留意, 假如输错三次就需要锁定十分钟嗯, 密码要记得进行加密存储。接口返回的格式要使其统一起来, 顺便把日志功能以及异常捕获功能也添加进去。

之后, 你抿了一口咖啡, 紧接着, 屏幕之上迅速呈现出了完整的代码框架, 与此同时, 接口文档实现了自动生成, 测试用例也无一遗漏地全部出现了。

这就是最近流行的Voice 。

从此以后,嘴巴就是你的键盘。

这次的语音输入

跟你想的不一样

近来, TRAE SOLO 为了抓住 Voice 这一潮流趋向, 竟然与麦克风 Mic Air 联合推出了一款套装。

我们拿到了这套组合,完整体验了一把。

AIOHTTP_Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具

相较于其他, 多数语音转文字工具, 实际上做的是“听写”之事。不论你讲什么, 它都毫无变动地加以记录。最终你面对一屏幕满是语气词且断句杂乱的文字, 还得耗费时间自行整理, 这就等于白费劲了。

但TRAE SOLO完全不一样。

你讲出那一连串毫无条理、啰啰嗦嗦的话语, 借助智能结构化转录之手, 它会将其整理成条理清晰的、那般能够照着去执行的指令。

你讲错了, 要进行改口, 语义方面的理解以及自动修正, 可以识别出你的自我纠正行为, 仅仅保留最后得到的结论。

您提及「调那个Skill」, 借助功能语音直调能够协助您, 借由一句话实现切换过去。

具体怎么个事,咱们来看一波实测。

说一大段,它全接住,连Skill都调好了

比如你在工位上坐累了,想站起来走一走,同时把代码搞定。

仅仅只需于领口去磁吸上一枚大小如硬币般的Mic Air, 它的重量仅仅只有7.9克, 在戴上了之后差不多几乎是感觉不到它的存在的。

 TRAE SOLO 语音转文字工具 _AIOHTTP_Voice Working TRAE SOLO 语音输入功能

来回踱步时,脑子里转着一段代码,边想边说:

哎, 你瞅一瞅这段代码, 就是那个函数, 实在是乱得很, 真的, 啥内容都一股脑儿塞在一块儿了, 帮我重新构建一下。我大致讲一下要求, 首先把这个大函数给拆开, 嗯, 拆成三个部分, 其中一个专门用来负责请求数据的、一个是去处理数据并进行分级的、还有一个是写数据库并且记录日志嗯不对, 日志要单独拆分出来, 拆成四个部分。就是要让职责分得清清楚楚的, 可别全都一股脑儿堆在一块儿。接着, 那个错误处理的状况实在是过于杂乱无章, 在各种地方都充斥着try以及print, 要重新进行统一规整。进而将其修改为通过自定义异常向外抛出, , 对了, 要改成async await异步的形式取而代之。另外, 还要添加注释, 加上type hints, 变量名不要设置成r、d、f这类像鬼才看得懂的名称, 要使其更为规范。再者, 其中score > 60被写了两遍之多, 并且SQL拼接还存在注入风险, 把这些冗余的以及有问题的逻辑一并清理得当。同时做好参数化查询方面的处理。嘿, 对了, 还得补上单元测试, 如此这般, 差不多所需处理的也就是这般这些事情了。用Plan模式帮我规划一下。

这么长的口喷输出,连续说了好几分钟,中间没有一次断连。

值得一提的是,Mic Air传输几乎零延迟。

TRAE SOLO 能够迅速地捕捉到关键要点, 马上归纳出具备结构化特征且能够予以执行的指令。

所有英文的专业名词全部抓准。

随后,TRAE SOLO将会采用指令里头所提及的Plan模式, 进而开启疯狂输出的状态。

十分钟后再一看电脑,代码已经跑完了,就等你验收。

 TRAE SOLO 语音转文字工具 _AIOHTTP_Voice Working TRAE SOLO 语音输入功能

Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具 _AIOHTTP

这儿存在一个细节, 在我们讲完「拆成三个」以后, 又变更为「不对, 拆成四个」。

要是属于传统的那种语音转文字工具, 那么就会将前后两个版本都留存下来, 而AI并不清楚该去听哪一句。

该仪器由TRAE SOLO操控, 它能够识别出自我修正的情况, 会自动将最终结论留取, 把被推翻的那种信息全部删除。即使表述不符合事实也无关紧要, 因为AI只会留存结论。

多端协同,任务不中断。你的踱步思考时间,变成了生产力。

不只是改代码, TRAE SOLO能够协助你处理日常工作里的, 所有种类的文件。

比如说, 帮我去写一个脚本调用, 将这些视频进行批量转换, 使其转为符合H.265标准的1080p格式, 伴随着音频提取出来并存储成MP3文件。顺便提一下, 视频播放器的左下角要把文件名印上去当作水印, 这样做是防止我弄混淆。调用那个具备了批量处理功能的Skill。

TRAE SOLO生成脚本、自动执行。

很快, MP3顺利完成, 脚本也完美达成, 并且, 经过处理的视频水印, 都能够依照要求添加上去。

相同的场景, 能够用以批量重命名文件, 能够用以批量压缩图片, 能够用以批量加水印。以往需寻觅各类小工具拼凑而成的流程, 如今一句话便达成。

Voice Working TRAE SOLO 语音输入功能 _AIOHTTP_ TRAE SOLO 语音转文字工具

Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具 _AIOHTTP

Voice Working TRAE SOLO 语音输入功能 _AIOHTTP_ TRAE SOLO 语音转文字工具

需要特别指出的是, 「调用那个进行批量处理的Skill」这句话, 跟之前在重构代码的时候所讲的「采用Plan模式」情况相同, 这属于TRAE SOLO的功能方面的语音直接调整能力。

切至模式, 调整Skill, 更换模型, 不用去寻找菜单, 通过语音指令进行模糊匹配, 只需开口说话便可达成。

东一句西一句,它全听懂,还理成清单

写那些代码, 处理那些文件, 这些通通都是手头正在进行的活儿。可要问工作里头还有一类更为平常普通的场景是什么, 那就是老板突然间猛甩过来的需求。

有一种场景, 想必大家都不会感到生疏。在老板开会之际, 其脑子突然一转, 随即冒出了一个想法, 之后一散会就立刻索要结果。

现在,我们推门出来就可以趁热把老板的话复述一遍:

马上去查看下用户反馈内容, 留意一下大家都在抱怨些什么, 看看哪些问题是比较集中的, 另外最好能够理出个方面上存在某些问题或现象的占比情况出来, 那种反馈数量特别多的情况要单独挑出来哈……

当TRAE SOLO获取到这段话之后, 首先着手进行的是口语清洗工作, 那些语气词、重复出现的内容以及尚未说完的半句话, 它们全都被统统自动过滤了, 最终你所拿到的是一段干干净净的、能够马上交给AI去执行的文本。

接下来, 语义理解能力开始发挥作用了, 它并非仅仅是去除噪音, 而是切实地听懂了你所表达的内容。

你讲「反馈特别多的那种要单独拎出来」, 它将其理解成高频问题提取, 你说「有些人就是提出个建议, 有些是真使用着感觉不爽了」, 它把这归为情感分类维度, 建议类与负面体验类要分开予以处理。

这些均是从大白话朝着专业任务所产生的语义跃迁, 并非单纯的、仅靠语音转文字就能够达成的。

最终整理好的任务清单,可以说是既清晰又简洁:

剖析用户反馈之中的内容情况, 依靠问题类型来进行聚类, 接着去计算比例, 从中提取出高频问题单独予以标注, 区分清楚用户的态度, 进而生成一份包含柱状图以及饼图的报告, 而数据的来源乃是用户所上传的附件。

算下来,从开完会到出结果,大概三五分钟就搞定了。

输出的那份分析报告, 就内容而言, 极为丰富, 具体到图表, 同样细致入微, 整体上达到了基本上能够直接拿来使用的水准。

并且,所有结果都被自动存到了本地文件夹里,随时可以取用。

AIOHTTP_ TRAE SOLO 语音转文字工具 _Voice Working TRAE SOLO 语音输入功能

 TRAE SOLO 语音转文字工具 _Voice Working TRAE SOLO 语音输入功能 _AIOHTTP

 TRAE SOLO 语音转文字工具 _AIOHTTP_Voice Working TRAE SOLO 语音输入功能

AIOHTTP_Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具

AIOHTTP_ TRAE SOLO 语音转文字工具 _Voice Working TRAE SOLO 语音输入功能

现在,不用再抓耳挠腮地去回忆了,想到就开口说:

我打算梳理一番AI赛道, 恰巧最近新闻颇为众多。你协助我把核心功能、用户体验、商业模式这几块予以拆分, 补充一下竞品, 而后制作一个对比表格, 维度方面就是功能差异、用户画像、如何进行收费等等。最后帮我归纳总结一下壁垒究竟在何处, 还有潜在风险, 诸如模型依赖、留存情况这些。

同样, 口语完成自动清洗, “维度的话就”, “模型依赖啊留存啊这些”, 这些口语碎片被过滤掉了。

此外, 那些随口就冒出来的英文, 像AI之类的, TRAE SOLO也全都没遗漏, 中英夹杂的说话方式说到底也能够跟上去。

语义理解层面,它把一段意识流拆成了三个清晰的任务模块:

将核心功能进行拆解, 把体验予以拆解, 对商业模式加以拆解, 制作包含功能差异, 有着用户画像, 涉及收费模式, 以及近两版本更新的3至5个竞品对比表格, 做出壁垒总结, 给出风险建议。

刚说完,研究框架直接出来了。

就算是前几日那桩, 有着600亿美元数额, 被马斯克买断期权的事情, 也被你剖析得清清楚楚、明明白白的。

我们最后只需要再过一遍结果、调调细节,就可以交差了。

Voice Working TRAE SOLO 语音输入功能 _AIOHTTP_ TRAE SOLO 语音转文字工具

Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具 _AIOHTTP

 TRAE SOLO 语音转文字工具 _Voice Working TRAE SOLO 语音输入功能 _AIOHTTP

AIOHTTP_Voice Working TRAE SOLO 语音输入功能 _ TRAE SOLO 语音转文字工具

周围再吵,它只听你说,噪音一键消了

到达此处你大概有可能会讲, 安安静静就着电脑去说话, 当然是好用使的。那么要是周边杂乱得如同煮成的一锅粥那般又会怎样呢?

像是坐在网约车里面, 忽然接到一项紧急需求, 司机正播放着音乐, 导航进行着播报, 外面还传来喇叭声音。

这要是用笔记本内置麦克风,声音基本就全混一起了。

但现在,夹上Mic Air直接开口就行。

它有着48kHz采样率, 具备全向拾音的能力, 哪怕是轻声说出指令, 也能够精准地进行捕捉。除此之外, 它还有一键AI降噪功能, 几乎能够把背景噪音全部压掉, 仅仅留下人声。

凭借这段清晰的语音, TRAE SOLO迅速将其处理成了干净的, 且很快就达成了这样的结果, 并致使其呈现出这般的状态。

准备一份用于明天上午和研发进行需求评审的PRD, 这个功能的关键流程中, 先是用户进行注册登录动作, 之后创建项目, 接着邀请同事一同协作, 在完成相关事宜后导出报告, 其界面涵盖首页、项目列表、编辑页以及设置页, 要对网络超时、权限不足等异常状况加以考量, 还要设计埋点, 分作用户行为类和页面维度曝光类。

当你抵达家中之际,一份具备完备结构的PRD已然于屏幕之上静候着你了, 从Word当中将其下载下来, 稍作文字的修饰润色便能够发送给研发人员进行评审了。

非得承认, TRAE此次着实是将语音办公当作一条完备链路予以打磨, 从声音采集起始, 到智能转录, 每一个环节都不存在失误。

而且这条路还在往前走。

预计4月底上线实时问答互动且名为TRAE SOLO, 届时你能够如同与同事展开聊天那般, 和AI语音针对问题加以讨论, 实现持续不断的讲话回复, 同时进行实时的记录行为, 使其转化为文字记录。

Voice

正在发生的工作方式革命

今年以来,语音AI赛道突然变得异常拥挤。

IBM和官宣合作,把语音能力嵌入企业级AI平台。

gpt-不断持续迭代, 实时语音对话已然达成了近乎人类水准的流畅程度。

发布了3.1 Flash Live, 它是一个端到端的原生音频模型, 该模型能对语气进行感知, 能对语速予以感知, 能对情绪加以感知, 并且还支持90多种语言。

这些动作的背后所指向的是同一个趋势, 语音正从“辅助输入”朝着“主力交互”进行升级。

曾几何时, 我们脑海之中有关语音交互留有的印象, 大约还停靠着对着手机呼喊「Hey Siri帮我定个闹钟」这般的阶段呢。

但现在的Voice ,远不是这么简单的事。

其背后的关键逻辑是, 人类最为自然的表达形式乃是说话, 而打字实际上是一种“被迫的翻译”。

在脑海之中所思考的是一连串衔接紧凑的思维脉络, 然而你却必须将其分离成为一个个单独的字符, 再借助手指逐个逐个地敲击下来。

这中间的信息损耗和效率损失,远比我们以为的要大。

要是语音识别的精确程度达到相当高的水准, 语义领会层面也达到足够深入的程度, 并且响应的速度达到特别快的地步, 那么「说着干活」便不再属于一个噱头当中的项目, 它已经超越到此阶段了。

而TRAE,是在AI 领域率先把这件事做到产品级的玩家。

下一个生产力入口是嘴

因TRAE SOLO的智能体已然能够自行拆解任务, 亦可调用工具, 还能完成执行, 所以人类的角色便从「操作者」转变成为了「决策者」。

决策者最自然的表达方式是什么?

是说话。

目前为止, TRAE那些在全球进行注册的用户, 已超过了600万, 其每月的活跃用户数量突破160万, 于近200个国家和众多地区都有覆盖。

此次语音输入功能上线, 再加上与的联名硬件合作, 这就使得Voice从概念转变为一套完整的解决方案。软件端存在智能转录功能, 还有语义理解功能以及功能直调功能。硬件端具备专业级的无线收音保障。

今天,TRAE SOLO语音输入功能正式上线。

试试看,张嘴就能干活的感觉,用过就回不去了。

参考资料:

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐