Deepseek试用

  最近试用了当下特别火的大模型deepseek,简单说一下使用感受。

  首先我本人并不是技术人员,对IT技术的使用的仅限于一些基于兴趣的简单了解;然后我平时也基本没有使用其他的AI大模型,仅仅只是做一些简单体验,主要是在我有限的认知里面对自己使用大模型还没有一个明确的定位和需求。目前我自己是体验了网页版+APP、部署了7B到自己电脑、也安装的chatbox客户端使用API key直接调用API使用 。

关于deepseek的使用方式

  目前网上对这个大模型的宣传铺天盖地,给人一种其无所不能的感觉,但体验了后感觉并不是所有使用方式都是适合我的。

  仅仅只是体验、日常使用,不作为生产力工具的话,网页版+APP就行,其本身就是完全版(满血版)的大模型,唯一的缺点就是经常“服务器繁忙,请稍后再试”,特别是R1,有点搞人心态,V3相对要好一些。这个也是没办法的事情,目前用的人多,也经常受到攻击。当然可能还有一个可能的缺点,就是涉及关键词的屏蔽什么的,我不是深度用户目前没啥感受。

  要作为生产力工具的话,需要考虑本地部署一下,这个有一些技术门槛但不多,可以体验和尝试一下。网上有很多的教程,过程大差不差且都很详细,我也是按照教程做的,简单搞定。

  本地部署除671B外都是切割板,想要使用完全版作为生产力工具,个人用户还可以使用API key调用API使用,有两种。一种是直接登录deepseek开放平台调用他的API,另一种是注册使用各大云服务商部署的deepseek,然后生成自己的API来调用。两种方式都是收费的但都不贵,优点是不需要自己配置昂贵的硬件设备,deepseek开放平台API的一个问题是跟网页版一样,目前经常受到攻击导致不稳定,各大云服务商的相对要稳定一些。这种方式其实主要是企业和开发者使用,因为这样可以将deepseek的功能嵌入到他们自己的系统和应用中做定制化开发。

关于本地部署

  将大模型部署到本地则需要由本地的硬件来为大模型的计算提供算力,这东西是出了名的贵,所以需要按需选用。

  我公司的电脑直接部署的7B,这个没啥可说的,也一次性成功。家里的电脑是4060ti显卡+32G内存,准备搞32B的没成功,中间还差点把我游戏存档干没了,我玩的可是没有线上存档的单机游戏,差点吓死了。没成功应该是我的显卡显存不够导致的,后面可能搞个14B算了。

  个人用户的话,感觉单个电脑单张显卡搞个14B就差不多了,发烧友除外,再高的如70B需要加显卡甚至搭建机房了,对个人用户来讲没啥意义,土豪除外。个人电脑如果性能一般的话搞个7B也不是不能用,做生产力工具的话加点钱部署32B配合着API调用也是一种选择,如果性能一般强上32B虽然可能也能用,但是回答一个问题可能需要很久。

  本地部署,一个难题是ollama的下载,网上的各个攻略其实基本都提供了网盘下载的分享链接,我原本是想直接官网下载的,但是速度那叫一个慢,国外的软件,理解理解;然后使用GitHub的加速下载方式,但是只找到了0.3.X的版本,目前ollama最新的0.5.7版本,所以最后还是屈服了,直接用别人大神的网盘分享链接吧。

  部署好后,可以直接在终端使用,也可以安装可视化UI界面使用,网上分享了几种,有Page assist网页侧边栏插件和Chatbox客户端两个类型,我选择了都要。

使用体验

  其实没啥体验的,前面也说了我并不是深度用户,对这些的好坏其实没有太明显的感受。网页版经常繁忙,本地7B版挺流畅就是偶尔有些回答相对抽象,调用API也经常不能用。所以其实对于我这样的个人用户,用DS和用其他的大模型,暂时并没有什么太明显的差异,国内其他的那些大模型做的也都是挺可以的,不能否定他们的能力和作用。

  最大的感受,工具的选择和使用其实都不是问题也不是什么很大的门槛,使用AI大模型最大的门槛或者难点,其实是我们能不能把自己的需求简单明了和准确的表达出来。这个有点考验我们的语言组织能力和表达能力,这方面我自己有所欠缺的。AI大模型有点类似于产品经理,我们是客户,客户把自己的需求讲清楚讲透彻,人家产品经理才能准确的将客户的需求转化为实施方案交给开发人员,最终做出准确的产品交还给客户,不然就得扯皮,一样的逻辑。