记录AI算法的实践过程,包括但不限于NLP、推荐、音频、图像、推荐、LLM和多模态等 (谨以此记录学习过程:主要借助一些开源的数据集进行实战操作)

• torch
• deepspeed
• transfomers
• modelscope
• peft
• ms-swift

• information extraction (信息抽取)
• • 金融事件及主体抽取
• • 命名实体识别
• • 文本摘要
• • 雅意信息抽取
• 领域多轮对话微调(multi_turn_conversations)
• • 心理咨询多轮对话微调
• 文本纠错(text correct)
• • csc文本纠错

采用法律问答数据中的答案部分进行领域预训练

• IA3
• LoRA
• p-tuning
• prefix_tuning
• primpt_tuning

• generattion_chat
• summarization
• ner

• accelerate
• huggingface trainer

• LLM答案生成(摒弃无关生成)
• RAG答案生成、置信度、相关性等
• 信息抽取:实体识别、关系抽取
• 多项选择等
• 文本分类
• ...

• vllm
• outlines
• lm-format-enforcer
• logits-processor-zoo

• vllm实战
• outlines实战
• lm-format-enforcer实战
• logits-processor-zoo实战

• elasticsearch 8.15
• langchain
• langgraph
• vllm
• qwen
• xinference
• bge

• 数据索引index

• • 数据集进行分块
• • 通过产生Embedding
• • 导入到ES中

• 召回

• • Embedding召回
• • BM25召回

• 答案生成

• • 评估相关性,并通过Qwen生成答案。
• • 通过VLLM获取结构化输出

• RAG评估

• • 评估框架ragas

• Query Decomposition(问题分解)

  主要是借助了Qwen 和书生浦语Internlm大语言模型,结合目前流程的思维链(COT)、Planning(整体规划、迭代规划等能力)、PlanRAG、AutoRAG等来完成子问题的分解

  子问题分解