上传知识

curl --location --request POST 'https://meeting.poc.yijiayun.com:8444/assistant/knowledge' \
--form 'meeting_id="123"' \
--form 'conversation="转录2025年01月08日, 09:09:53徐阳   00:00:30就第一个,浩然再去一会儿汇后跟超众媒体先看一下效果吧,就是看一下翻译的效果。然后那几个问题再去处理一下,对,好像说吞音的吗?徐阳   00:00:36下面这个没有吧。   00:00:45后续工作。 屏幕共享,屏幕共享。三龙   00:00:51面供养。徐阳   00:00:53会议主要是总结上一周的工作。徐阳   00:00:56这会也能看到是吗?陈超   00:01:02能看到了。 刚才只是评论,没够想。徐阳   00:01:17然后后来声音没有,异图识别。 之前应该就不让死掉了。志恒   00:01:49主要生成的话,现在主要就是在这个收集数据的一个阶段。上周五的那个我们开周会的那个摘要,我用那个生成出来发了一个邮件出来,然后自己看到的话可以明确地两个问题,一个是那个志恒   00:02:09就是我那个时间统计错了,它应该是一个小时40分钟我们开的。 我统计成一分钟了,所以这个地方应该是抓取逻辑抓错了,后来已经改过了,现在没问题了,可以正确地给它显示成一个小时。志恒   00:02:52对,还有一个就是那个,当时我们北京开会不是在会议室里面的,我们用的是那个Hub。Hub完了之后出来,它的用户名就不会被记录。所有在那个Hub里面讲话的人都不会被统计。所以那个参会者出来的就只有Derek、Wistand、Ram他们那些台北用电脑参会的人。整个我们那个会议室都没有被记录。志恒   00:03:16然后他也不知道每个人讲的话还是会转动出来,但是不知道哪一句话是谁讲。所以包括我们后面AI Meeting自己用肯定也不会从这个Teams里面去抓数据,就变成我们自己肯定会需要有这种发言人识别的模型。之前他们还被一直说用Intellicle的那个声文去做,但他们做不出效果呢?有可能后面会需要我们自己去调研模式。   00:03:20这种发言人识别的模型。志恒   00:03:48其他的话就是摘要生成这个内容匹配不匹配的问题了。我上周五的那个会议,我对比了一下线上的模型和我本地跑出来的话,大概的内容差不了太多,但是漏了一个。志恒   00:03:54就是加风抢活体的那一段,千万2.5是没有统计出来的。 但这个也是有随机性,它可能这一次生成的没有活体,下一次又有活体。志恒   00:03:56因为我们开会时间确实比较长,内容也比较多。志恒   00:04:08就让它统计那么几条的话,还是会有遗漏。这个东西就看吧,再统计多一些数据,看有没有条件可以把它做一些这种。志恒   00:04:13就是在做一些优化的。   00:04:14那天那个会议有四个小时吧。志恒   00:04:25后面都是没有,都没有人讲话的。 记得开个关子吧。 有人挂在那儿。志恒   00:04:36时间的问题,那个好处理吧? 处理我已经处理好了。之前是抓文档的格式,抓错了。徐阳   00:04:52那后面如果再有数据的话,那得怎么形式?因为你刚才不是讲过通过这个话或是不好吗?徐阳   00:04:56那是不是我们直接用Teams还会,就不用他去说话了好? 这样的话还是不方便。志恒   00:05:07因为即使我们都在会议室的人,我们即使每个人都登进去了,我们还是在通过hub跟人家聊天。志恒   00:05:24你的自己的账号还是不会有转录的记录出来,所以你就这样给。因为每次我们录评的话,它有TIMS自己的转录,也会有视频,对吧?那后面这些东西,我视频拿到后面肯定也会去做ASR的,对吧?那只是说我ASR完了之后可能会把每个人讲话的那一小段结束来再去做发言文识别。陈超   00:05:36所以这些数据放在里面,知道都会能用上。 今天这个会议只有南京那边说话的人呢?志恒   00:05:40对,我们这边的话就全部都被记录成一个hub。汪俊   00:06:11我这边有几个问题,就是那边现在你刚才说这个地方是在设计数据这个阶段。 对对对,是的。汪俊   00:06:17那你这个数据数据,比如说有什么样一个大致的规划吗? 比如说数据量上或者是怎样一个根据不同阶段的、不同量的一个数据和一个评判的标准?志恒   00:06:37数据收集现在就是上周开会也跟David他们讲过了,只要是我们内部的会,现在都会在Team上面开启转路。   00:06:43因为现在邀的数据就是这样的数据,就是说首先这个开会上面人讲话我们自己出来,也要知道他这个会上大家看什么东西。志恒   00:06:56要不然这个数据我拿到非常地转,它转出来的结果到底是不是好?没人知道。所以现在收集的都是自己开会的一些数据。志恒   00:07:05这个量的话肯定是越多越好,但是我们自己开会毕竟是有限的。 我打算先收集到过年时间,先收集一堆数据出来,先看看有什么样的效果,再做后面的计划。汪俊   00:07:21OK,那像这种效果上的这种东西的话,比如说,那个下一阶段,比如说可能有什么一个阶段性的进展,那这个这方面的目标有什么一个具体的期待。志恒   00:07:46下个阶段就应该到年后了吧,效果的话肯定就觉得至少它内容要正确。格式问题已经不大了,然后后面就是内容要正确嘛,然后不要太啰嗦,然后该有的点都有。汪俊   00:08:03嗯,这个还是饭了一点。那个上一周你说的格式的问题,你这边也做了一些优化处理的时候?对,现在格式基本上不出什么问题了。OK,行。   00:08:06这边没问题了。徐阳   00:08:11没有的话,我们就下一个了。陈超   00:08:18再选一下,只选,关掉。   00:08:51这个没有,然后就是真假人呢? 真假人这两天已经把那个code整理一下,然后给Run他去加到他那边容级算法里面,对,然后再整理,他也没啥。其他还有还在做一个最终的总结,适合什么样的场景。   00:08:55周五大概就给它总结出来。嘉丰   00:09:05然后上周像该测试的都测过了,但是在一些场景下还行,在某些场景下还不怎么样。   00:09:12这个就再做一下那个环境的说明就行。   00:09:27然后和RAN商量的是,他那边先把这个扣导先集成进去。 如果有时间的话,就是在针对一些效果特别不好的看再微调看效果会不会好一点。徐阳   00:09:38嘉丰,你刚才说特定场景是陈超   00:09:55它就是距离,角度。还有显示设备,这些因素有可能会影响。 连RUN都知道是吧? 对啊,我一直在和他对。徐阳   00:10:04那后续还是等他们在做通知?   00:10:23现在都已经在进行,就是说RUN已经准备把这个code写到他们的SDK里面了。 然后会做一个开关,就是说效果没有得到完全认可的话,它那个开关就不开了,一旦搞好了直接打开就可以了。陈超   00:10:29效果还得再统计一些数据。陈超   00:10:51你是打发我,你是给的圆码。 因为我这边写的那个东西怎么说呢?他那边写的大结构,他又把我的这个东西融到它那边整个容品算盘里面,他那边写的是有一个档架在的。陈超   00:11:04我把我的原码都给它了。 直接就是打包成,打包的。不,就是我用到的东西都给他了,我用到的像我写的一些里面推理的。陈超   00:11:14还有给他两本,没有上来的。 那个没有?一样的,就几个文件,主要在几个文件里面。陈超   00:11:17这个1月7号展示是第一次给他? 第一次给他。陈超   00:11:25到这个时间起,里面罢了时间。徐阳   00:11:32那这家人还有什么问题吗?没有问题,我们就下一个。徐阳   00:11:36好,李鹏。李鹏   00:11:50HDR的一块,前两天是根据上周五Derek 的一些要求测了一下各个阶段的一个内存CPU占用以及它的一个耗时。李鹏   00:11:57昨天的话是以PPT的形式发到群里了,给他看了。李鹏   00:12:04然后现在是正在把,他们想把这个CPU上运行的东西到内线上去运行。李鹏   00:12:25来讲一下loading,来试一下。这个的话我今天可能会把这个CDR这块代码先写出来,然后再测试一下结果。到时候的话再做个报告看看,或者今天或明天的话在发群里面让他们看一下。目前是这样。徐阳   00:12:37昨天Derek说,那个loading可能还是觉得高。 那个是38到71,是吧?有一个是。李鹏   00:13:05对,这个区间。我这一关测试的时候测了好几次,浮动比较大吧,跟我有时候电脑的开机啊,包括运行的时候就开机待机时间长啊,时间都会受到影响。然后最后的话我是取了一个区间吧,给他了。志恒   00:13:13你许的,就它那个应用是吧,它那个应用挂起来叫什么?你自己写的单文还是他们的那个应用?   00:13:16应用啊?李鹏   00:13:29我统计的是VSCode里面有一个诊断显示,会能看到它的内存。   00:13:31然后你那种什么跑的?Tesern还是什么?C加加跑的。志恒   00:13:34自家家,自家家跑VS Code。志恒   00:13:43你是直接在那个工程里面跑的release版本。李鹏   00:14:00然后里面看有一个那个显示诊断的话,里面可以看到它的一个当时的一个运行的一个内存状况,还有它一个CPU占用率的一个情况。是根据那边统计的。志恒   00:14:02然后那些纸都是顺时纸,是吧?   00:14:06对,选择。 当然它是多两个时间一周。李鹏   00:14:28每针都跳吧,我看它那个就是波动形式,所以这个我也没有办法取一个均纸。 所以我把它一个波动范围给了CPU的占有率。李鹏   00:14:31然后这块的话,因为我还没有把人家检测的那块Bonding Box 标出来。李鹏   00:14:44所以内存的话,我是单独的把整体运行占用内存。 然后减去它单独人脸检测那一块儿是这样做的一个内存给到它了。李鹏   00:14:52CPU占用力的话,我直接测试整体的一个CPU占用力。 把人连最终也加上去测试这个占用力。李鹏   00:15:24然后它是锐化开不开,还有整体的Denoise开不开,看一下效果。每个阶段去掉之后内存和时间都会减少,但是CPU的占用力的话我看这个波动范围没有说是太减少它的范围,但是最底的一个点会减少一点。李鹏   00:15:34就比如说本来是50%到80%,有可能就是我这个降低之后的话,它就是30%到80%,这样一个部分。   00:15:37那个,任务807的CPU你看了吗?很难能对得上吗?陈超   00:15:44那个我们有观察的CPA。志恒   00:15:45你下次跑的时候把他两边都开下来,你看能不能对得上?   00:15:50大概区间是不是差不多的一个区间?李鹏   00:16:12那这一块的话就双压了把这个,非我说是把这个OpenCV的那个Mate,反正用Mate的形式去GPU上跑一下,看看loading的话这个效果怎么样。汪俊   00:16:22Derek那边有关于HDR的时间表吗?陈超   00:16:46没有什么,他们也不急着上到LSM上去。 应该还没到那个阶段,因为现在自己在inhouse这边还没过,然后现在CPU单用率比较高嘛,他现在肯定认为这个进度昨天是登了多少60是吧?陈超   00:16:51对,他认为HDR现在的进度才60%。陈超   00:17:15OK,因为现在CPU占用力比较高嘛,他们在试图想让李鹏转到GPU。但是最终的话如果LSM现在并没有说强制要求的,并不是说所有电脑都有GPU的。所以最终还是应该在CPU或者核心上面跑吧。陈超   00:17:40OK,我了解了,还有其他问题。看到刘李鹏能不能再看看也没办法再讲一点。速度他们昨天应该是还能接受的。速度是4.3。可以080吗?他们现在要求得最高的。陈超   00:17:431080他们目标现在是1080,因为可能LSM后面采集的话就用1080的分辨率。   00:17:49行,我知道了。徐阳   00:17:56没有的话,那我们就下一个,三龙。三龙   00:18:09议图识别这块的话,推理模型还有Embedding模块、RG模块,这几个模块全部都已经封装到SDK里面给正位那边了。三龙   00:18:40然后TLCA这块的话,现在是先用他们给的一个onex runtime版本。 先把TLCA的商场用他们给的那个版本去,然后封装成了STK,然后给旧人那边也说是可以用的,但是目前只能用CPU,所以这边还得往下做短TCRT的。三龙   00:18:42好,转TZRT的话现在已经有一个模型通了。 然后后面还有三个模型。汪俊   00:18:52你说的那个模型通了,是已经用CIR就做过教议了是吗?在这已经跑通了是吗?三龙   00:18:54对,对。三龙   00:19:28那个周五前有机会弄完吗?应该差不多,因为跑通的那一个是一个pedal的,然后输入都是图片这种格式的。 剩下的几个都是拉玛的模型,然后输入都是巨子的那种。所以我还得再看一下,应该没太大的问题。汪俊   00:19:32OK,我们真那个要成长,周五给跟那个给IKDEMO的话大概是上午下午?陈超   00:19:344点,4点钟。汪俊   00:19:45OK,行。那就是到时候争取吧,等等会后吧,我们都到时候再给你对一下时间吗?陈超   00:19:53今天下午是跟Derek看吧,然后我昨天跟志伟说,他说应该都跑通了。 嗯行,因为主要是当中那边TESRT的版本,就给到志伟,志伟那边换的。   00:20:01结果没有变,应该也比较快。   00:20:05继续。金水   00:20:17我这边就是把数据扩增,然后把embeddy部分给集成过去了。现在谈的代码已经被三龙给分装好了。徐阳   00:20:32这个数据现在扩了多少,因为上周开会的时候他不是说让我们自己的模式每个意图下面100多吧,应该符合他们最低要求吧。汪俊   00:20:38没有,你做过测试的吗?昨天我们说要做个测试的。汪俊   00:21:02这个东西还没跑测试,但是今天应该可以跑出来。 上午就跑一个测试出来,最起码有一个基础的一个评判的标准,这样子的话你刚才说一百多条吗?可能满足它基础最低要求吗?他们的最低要求未必是一百多条吗?还是要看最终的效果。汪俊   00:21:12志恒,这一块试据量这一块,包括那个他的这一块测试这一块有什么具体的一些方式方法。汪俊   00:21:22可以就比较评判他现在的这种,因为现在这个意图识别它是相当于是匹配式的吧。志恒   00:21:29评划标准,那不就占准确率屏吗?   00:21:31你去立。陈超   00:21:55现在Western就在与我们提供的数据量,每一个front 的数据量。我不知道这里面是不是有一些门槛,我看三龙精神美式的也就在110年或者100多一点。那Western的意思就是越多越好,它也不会告诉我们具体。志恒   00:21:59我觉得他的最低底线是1000,他觉得至少要上千条。陈超   00:22:10所以每周都在讨论这个问题,金水这个里面是有很多的困难在里面?金水   00:22:32就比如说有直接命令的白板模式,它限定了一个结构,固定的主语是AI。 然后后面这个动词跟对象一直变化词语,就是AI什么开启或激活,这个白板模式和功能。金水   00:22:44每个大概七八个,然后另外一个是七八个,乘在一起就是100多。 但是你也不能换其他动词了呀,因为这个动词金水   00:22:56其他动词跟后面的,如果我去换这个搭配起来就很怪了。志恒   00:22:58你说的这个是毕过级的那一篇,是吧?金水   00:22:59对,对。志恒   00:23:08但是我听他的意思应该是说在B国籍之外,你还要准备很多的数据,去给那个动态能用的。金水   00:23:23对,所以我现在这一次扩张的这个B国级跟动态都扩张到了一百多。不知道够不够?志恒   00:23:37B过级,B过级100肯定是够的。因为就像你刚刚说的那种解释嘛,B过级因为它要求的指令很精烈,它排列组合就那么多种,对吧?那肯定在100以内我觉得就是没问题了。史凯   00:23:42多了反而不好,多了说不定他本来不应该过的也让他过了呢,对吧?志恒   00:23:53现在就是说,我觉得它那个大量的数据应该是给到你的动态的匹配。包括是你后面测试要用到的东西。金水   00:24:05对,但它动态模式也被限定了。他希望这个动态模式的错误类型是有什么错别制,然后加一些一点点的补充说明之类的。金水   00:24:09它是相当于对直接命令的一个补充,其实是。汪俊   00:24:17像这个单子在你那边,志伟业说吧。志恒   00:24:35对,但是这样子他做一些补充我觉得就有一些可以扩展的地方呢。 你就丢一个类似的句子然后你让AI给你造嘛, 造一堆乱七八糟的东西。金水   00:24:36你先把数量先搞上去,那我待会再。金水   00:24:38再扩增一点。志恒   00:24:55我觉得这个数量其实问题不大,问题是我们得想到一个类型。就是说就像他讲到了扩充嘛,Weston他们的意思是什么?志恒   00:25:01就是说他那个扩充是给你一个例子,就是他希望我们有自己的想法,我们自己在他的例子之外,想到一些其他的扩充条件。志恒   00:25:27比如说我又在闲聊的时候出现了一个什么样的场景,可以去想一点。如果想不到没关系,就是说那基于现有的每一种我们想到的这种说话的方式、说话的这个习惯,我们基于这种习惯,每一种给它来个十几到一百条这个样子。志恒   00:25:42就车古路话,就让他去跑,就跑一些类似的东西。我们先把数据量顶上来,然后后面再去跟他解释说,我们目前就想到这么多种类型。志恒   00:26:05然后后面的话,投入使用了之后,有大量的用户过来,每个人的习惯不一样。可能某一些人讲的东西容易出错,我们可以重视起来把这种习惯也好,他的这种说话模式也好,我们作为一种反面或者是正面的情况,我们再把它加进来。基于他说的那种话,我们再生成一些数据,逐步地去扩充我们这个素材。志恒   00:26:25我们下一次跟他们这个例会是什么时间?明天还是今天下午吗?今天下午我觉得这个事情可以暂时不提,就是他们不讲的话,我们先不主动骑。志恒   00:26:38因为反正这一块我们也没有大大的进展。如果他们提了,我们可以说我们现在有一些进展,然后也可以讲一下我们最近的更多的时间,我们在做这个C++的转化,包括集成这一块。志恒   00:26:47然后你强调一下这个数据扩充这个事情是一个比较长期的东西,我们后面会在慢慢地梳理去给它加起来。汪俊   00:26:59OK,我这边没有什么问题的。徐阳   00:27:05那下一个,志伟。   00:27:27好,我这边的话现在那个算法方面计程差不多了。 然后现在就差一些优化的问题,然后还有一些UI现在一个稳定性,因为这些东西比较多可能有些稳定性的问题比较差。陈超   00:27:34然后准备把那个功能再优化一下,后面的话基本上就要全方便的来测试临行那些问题了。其他的话应该还是没什么。陈超   00:27:38最后有空打包,打包吗?   00:27:58还有打包那个问题,其实打包的话先不打包,我准备看一看事情那边的话,电脑配置还有环境,我准备直接把代码开了,让它在那边跑进去。之前不是说有个DDR的问题吗?那个版本?   00:28:03昨天让三龙弄了,OCR的问题。   00:28:13会议主要是总结上一周的工作。徐阳   00:28:20你还有什么问题吗?   00:28:23嗯,是不是真的没有问题。嘉丰   00:28:51然后,嘉丰,SD是吧?对。 SD 最近在调研一下它那个多尺度的那种融合模型,就前面都是512x512的,然后准备试一下把768x512,然后长方形和速的那种长方形都给他试一下。嘉丰   00:28:54然后就是想看一下这个模型导出来之后,它那个加载模型会为报显存。   00:29:06然后前面就昨天在设的结果,他就是我原来那环境他是报现存。但是不确定它那个是信用显存的问题还是模型的问题,还是它环境的问题。嘉丰   00:29:24昨天和人家讨论,然后说是先要我升级那个小百合。 小百合已经升级好了,昨天已经升级好了,然后再部署一些其他的一些插件。今天再试一下,如果就是想象不够的问题的话,那就没办法,就只能是一种尺度了。嘉丰   00:29:34是一种尺度,如果要用其他尺度的话就要重新漏的模型。 嗯,其它没什么问题?再多测一下就行。   00:30:12加上这个是基本上可以确定你现在弄的方案是可以在小白盒上搞起来。 对,单尺度是没问题的。 OK,它对最终的效果上是有什么影响? 呃,单尺度就是咱们出来的照片都是正常形。然后前面不是说加ContureNet控制它的知识吗?嘉丰   00:30:29这个方案都没问题。现在是想进阶一下,一个模型可以选择三个尺度,这样加尺度的话势必会增加线程的,但是不知道小白和龙龙顶得住,现在就想试一下这个。   00:30:45OK,明白。像年前有机会demo一下看一看。 问题不大,应该这周最晚下周差不多了,就可以把code整理一下,就可以了。好。金水   00:31:04下一个事情。你的测试计划这些都已经写,然后测试用力的话根据我们上次会议对的,比如说意图识别的各个功能切换,还有平时在打开功能的时候它的这些切换什么的我都已经加上了。金水   00:31:12然后剩下的可能就需要在跑实际应用的时候再进行不断测试了。徐阳   00:31:16现在你那刀还没有那个啥,可以测试吧。金水   00:31:22对,我这边的demo是前期比较简单的内容。徐阳   00:31:28对,对,对,对,对,对。徐阳   00:31:52然后说一下IRISM吧,这个的话是3.2的那个版本的话是要1月20号通过联想的SSRB。徐阳   00:32:00然后3.3的话主要是要解决我们这个3.2一楼的两个领域态势问题,然后3.3整个把主要的工作就是要解决这个3.2的一楼的这个问题。徐阳   00:32:08然后之前说的那个人线分割和白板前景插出功能的话,这个要是已经确定要放到3.4做开发了。徐阳   00:32:31然后具体的话,最近也是在约米奇去看,让他看一下白板的千金擦除功能。 因为人像分割之前他看过了觉得效果还可以。徐阳   00:32:35然后近期因为米奇尼可能来北京了,我想约他看一下这个现场看一下这个板板千金擦除。 如果有问题的话,可能这个算法上还是有时间去提前去做优化的。 嗯,这个是LSM的。陈超   00:32:43讲一下为什么脸像分割和白板放到3.4。徐阳   00:32:58因为这个整个3.3是属于一个过渡周期,这个周期比较短。 所以说他们的3.3主要是上了一个残疾人的那个功能。所以说其他的功能就都放到之后了,是放到3.4了。米奇是谁?徐阳   00:33:04米奇就是那个产品吗? 这些产品。徐阳   00:33:17凯哥,你们看还有什么问题吗?史凯   00:33:22我这边没有。陈超   00:33:26会议主要是总结上一周的工作内容。徐阳   00:33:42然后我说一下,那个会后大家把自己负责的什么没更新的,然后还是要在这个文档上更新一下。一会儿会后更新一下吧,这个还是直观能看到大家每周都做了什么工作。徐阳   00:33:52好,没更新的革新一下,那我们今天会就到这了。"'