集团继续这个纪录片叙述了在山西的抛弃村落里,一位阿姨每天用短视频记载村里的人和事,收成了几百个粉丝,多数是村里去外面打工的年轻人。
因为视频结合了图画，参加音频和文本元素，因而需求更多和更杂乱的数据处理才能。而OpenVINO与LlamaIndex集成后的组件则能够供给完好计划的一起，表展在本地PC端流通运转流水线中的各个模型。
要构建真实的多模态视频了解RAG，集团继续需求处理视频中不同模态的数据，例如语音内容、视觉内容等。这儿咱们会将用户的发问文本向量化后，参加经过向量引擎检索得到与该问题类似度最高的若干个文本片段，以及视频帧。fromoptimum.intelimportOVModelForSpeechSeq2SeqfromtransformersimportAutoProcessor,pipelineasr_model=OVModelForSpeechSeq2Seq.from_pretrained(asr_model_path,device=asr_device.value)asr_processor=AutoProcessor.from_pretrained(asr_model_path)pipe=pipeline(automatic-speech-recognition,model=asr_model,tokenizer=asr_processor.tokenizer,feature_extractor=asr_processor.feature_extractor)result=pipe(en_raw_speech,return_timestamps=True)创立多模态向量索引这也是整个RAG链路中最要害的一步，表展将视频文件中获取的文本和图画转化为向量数据，表展存入向量数据库。
模型下载和转化完结环境建立后，集团继续咱们需求逐个下载流水线中用到的语音辨认ASR模型，多模型向量化模型CLIP，以及视觉言语模型模型VLM。importhuggingface_hubashf_hubasr_model_id=OpenVINO/distil-whisper-large-v3-int8-ovasr_model_path=asr_model_id.split(/)[-1]ifnotPath(asr_model_path).exists():hf_hub.snapshot_download(asr_model_id,local_dir=asr_model_path)而CLIP及VLM模型则选用Optimum-intel的命令行东西，参加经过下载原始模型对它们进行转化和量化。
经过多模态RAG技能，表展咱们能够首要对要害帧进行检索，然后压缩在视频了解使命中VLM的输入数据量，进步整套体系的辨认功率和准确性。
归功于文本解析、集团继续索引和检索等老练东西的使用，为文本内容构建RAG流水线现已相对老练。据悉，参加AS700是我国首个依照适航标准法规自主研发、参加具有彻底自主知识产权的民用载人飞艇，于2023年12月取得中国民用航空局颁布的类型合格证，也是现在仅有可售卖的大国重器。
据了解，表展AS700D最大规划飞翔速度每小时80千米，最大飞翔高度3100米、含驾驶员最大载客量10人。初次科研飞翔实验累计进行了四个起降，集团继续分别对AS700D的控制特性和动力特性进行全面查验。
AS700D投入市场运营后，参加能够广泛应用在低空旅行、空中广告、城市安保、航空勘探、应急救援等多种场景。快科技2月21日音讯，表展据央视新闻报道，今天，我国自主研发的电动载人飞艇AS700D完结初次科研飞翔实验