【昇腾】昇腾开发者训练营:Dify大模型部署实战
MindIE + Dify + DeepSeek + Embedding模型 + Rerank模型
MindIE + Dify + DeepSeek + Embedding模型 + Rerank模型
文档 PocketFlow是一个只用100代码编写的Agent框架,可以实现多种LLM设计模式,如Agent、Workflow、RAG等,也提供了很多功能样例。 最重要的是,这是一款符合cursor编程的Agent框架,内置了多个cursor-rul...
使用MindIE推理大模型,并用Benchmark进行性能测试。
PyTorch官方提供了昇腾插件包,安装后虽然可以支持PytorchOCR和PaddlePaddle的推理任务,但性能通常低于GPU。为了充分发挥昇腾硬件的潜力,可以采用离线推理方案:
记录好用的AI工具、新的AI技术,持续更新
LangGraph函数定义 官方手册 1. 定义LangGraph定义 LangGraph将Agent运转流程建模为一个图,可以想象成代码版的应用编排,定义三个要素:状态、节点、边。 状态:一个数据结构。作为节点的输入、输出。 是图中不断流转、改变...
基本的方法论框架基础要素:指令、背景信息、补充数据(要求)、输出格式、(其他限制条件) 例如: 大模型用来画思维导图 指令: 帮我写一个模型训练的思维导图。背景信息:千帆ModelBuilder训练流程为框架。补充数据:思维导图为横版展示。输出...
最近准备投简历,但发现还有一些技术点自己不熟悉。那么这里就把没有掌握的技术点做个记录和总结。
前言DeepSeek公开了一套模型蒸馏的基本范式,同时公开了基于Qwen2.5、Llama3的蒸馏模型。 本文仅为简单介绍DeepSeep模型蒸馏范式的基本流程。 其中,Qwen1.5B的推理性能已经超过了GPT4o,而Qwen32B到推理性能可以达...
参考:https://www.anthropic.com/research/building-effective-agentsanthropic在24年12月发布了六种智能体设计模式,涵盖了常见了大模型应用在开发上的场景。 前言1. 什么是Agent...