最近接到了公司的一个“政治”任务,需要把自己部署的 LLM 对接到企微里去,目前正处于开发阶段问题如下:1 、开发阶段大家都是怎么调试的?内网穿透么,如果没有公网 ip 那就只能频繁的部署么?2 、企微貌似没法通过 api 获取聊天记录,那么只能再发送的时候自己存储下来么?

另外 因为要回复长文本,所以好像也只能使用 文本消息 这个消息类型,但是提的需求需要一些类似富文本的东西,这个怎么解决?

第二条,企微提供 API 去过去聊天记录的。可以详细看看文档,这块我记得是要收费的。

  1. 企业微信提供了内网穿透工具 developer.work.weixin.qq.com/devtool/introduce?id=406002. 如果是开发应用,无法获取历史消息。如果是使用“微信客服”,可以看文档 developer.work.weixin.qq.com/document/path/94670

我之前就是下载个花生壳,内网穿透调试哈哈。企业微信有会话记录功能,要钱

第一个企业自建应用没有开启内网调试的地方,所以也没地方拿它内网工具要用的回调授权码

三楼给了答案,客服才可以,应用不行

用企业微信的「发送应用消息」和「接收消息与事件」可以实现类似的对话的功能。这样会有几个问题,没法 LLM 输出的时候给用户一些反馈;没法格式化消息。另外一种思路是企业微信只是作为一个身份验证工具,只要做企业微信的单点登录就行。

目前确实遇到这些问题,但是他们就想要放到企微上用。。图片啥的就不说了,html 也不支持,md 支持的格式也少,这可太愁人了。

#5 那得自己使用 frp 等工具自己搭建穿透。我自己的做法将微信回调的消息发送到 MQ ,pd 、stg 、dev 都订阅

#8 所以让你换个思路嘛,企微只是用来验证身份,把你们的 LLM 系统账号部分改造一下。

楼主,LLM 自己咋部署的,用的啥配置。

同意 10 楼的说法,企微应用首页直接进 LLM ,只是利用企微验证身份,非企微不访问

#10 他们就只想在企微里对话,这个我改变不了,我明白你说的什么意思

“政治”任务,所以这个 llm 只需要跑起来,能让一两个人用起来就行,跑在 4090 上面

#13 那就只能接受哪些缺点了。

都是要付费的,但买会话存档你满足不了发消息,内部群也不能实现,可以看这个 www.apifox.cn/apidoc/shared-d478def0-67c1-4161-b385-eef8a94e9d17/

会话存档可以拉到历史聊天记录。发消息可以用第三方 RPA 工具,我们公司采购的句子互动的服务。

如果必须聊天方式,那么只能用文本,我们试过 RPA 技术监听聊天消息,是基于 wechaty 的第三方服务,但不知道是 wechaty 的问题还是第三方服务的问题,每隔一段时间就会出现无法接收消息的情况。其实自建应用,一个类似 ChatGPT 的聊天界面就可以了,还能支持富文本、图像

#16 这个有点厉害。。。类似外挂了?

不如直接 h5 直接嵌入页面。

developer.work.weixin.qq.com/document/path/91782 这个是聊天会话内容获取的接口。聊天内容包括成员之间,还有成员客户的聊天内容都可以获取。

我对接过,实现了 2 种方式1 、通过“发送应用消息”实现对话: developer.work.weixin.qq.com/document/path/90236也能加载 markdown 格式。缺点是无法实现打字机效果,通常要等几秒甚至几十秒才有反馈,效果很差。消息不用自己存,聊天记录都在企微。2 、自建应用只是一个壳子,设置主页跳转自己 h5 ,h5 用 websocket 实现即时通讯,做到跟官方一样的打字机效果,体验好。要自己存双方消息,进入 app 先加载最近 10 条 20 条,还能对接语音,风格样式自由定义。telegram 就做得很好,官方接口能实现打字机效果。

有会话存档的功能要花钱。你可以自已名义申请个企业微信以超管身份用用。另,楼上说的对,原生消息里搞无法实现打字机效果,效果很差。只能搞个 h5 的类聊天应用搞。

我觉得你首先要考虑的 AI 这东西如果管控不当,会不会让你犯法锒铛入狱哈哈,国内你懂的。毕竟不合法

这才不是我需要考虑的事情

#25 一看你就很年轻,这事要是真出了,你第一个被弄出去挡枪。20 年前我维护单位的 BBS 的时候,有个小子发了个黄土,我被第一个叫去录笔录,冲我大吼大叫,记住你是在天朝,小哥

类似部署一个 chatgpt 的大模型嘛

对互联网提供服务?

#26 。。。。这个不对外提供服务,应该不会出事,他们要是这样我刚到底