重庆网站开发企业,外贸移动端网站模板,h5网站建设+案例,楼盘网站设计一 前言 花了大概两天时间看完《这就是ChatGPT》#xff0c;触动还是挺大的#xff0c;让我静下来#xff0c;认真地想一想#xff0c;是否真正理解了ChatGPT#xff0c;又能给我们以什么样的启发。 二 思考 在工作和生活中#xff0c;使用ChatGPT或文心一言#xff0c;… 一 前言 花了大概两天时间看完《这就是ChatGPT》触动还是挺大的让我静下来认真地想一想是否真正理解了ChatGPT又能给我们以什么样的启发。 二 思考 在工作和生活中使用ChatGPT或文心一言逐渐形成了习惯总想听听它们的意见。无论是小学作文还是小的编程测试例子大部分情况下还是能够给我一个比较靠谱的意见而且是个“知错就改”的AI对于它的回答不满意多换几个提示词总能给我想要的效果这确实是令人吃惊和感到不可思议的特别是在对有错别字的提问上下文关联提问能给出让人看得懂的回答仿佛它存储了无穷多的知识。 2.1 高纬度是一种有效的压缩方法 首先我想到的这个模型在磁盘上存储大概有多大问了下ChatGPT3.5版本模型大概1.2TB的包括权重文件必要文件等 GPT-3.5 模型是一个非常大的模型具体占用的磁盘空间会因为存储格式和配置参数的不同而有所变化。然而根据 OpenAI 的官方文档GPT-3.5 模型的大小大约为 1.2TB。这个大小包括了模型的权重参数、配置文件以及其他必要的文件。请注意这个数字是基于 GPT-3.5 模型的官方发布可能会因为后续的模型更新和改进而有所变化。如果你需要具体的数字建议参考 OpenAI 官方文档或联系 OpenAI 获取最新的信息 真是难以置信在1.2TB的存储上竟然可以满足各行各业人的提问而且效果都还不错。 这里面存储的不光是知识还有逻辑最神奇的是语言习惯的逻辑以前开发个类人的对话机器人是非常难的别说人类语言光编程语言编译都要进过词法分析、语法分析等复杂过程才能理解它要做什么而GPT不用理解它们就经过训练好奇妙给出了符合语法和语义的答案。 所以我认为GPT是一种高纬度的压缩是对各类知识的内容的高纬度的提出抽象、是对语言高维度的抽象虽然我们还不能完全理解这种逻辑。举个简单的例子有一张很大的纸如果平铺开来可能有足球场那么大但是如果折叠下通过多次折叠后这张纸可能会变成拳头大小的模型。为什么它会变小了因为它的维度变化了它的被压缩了。 GPT -3 的参数有1750亿个每个参数看做一个维度的话表示的维度空间是很高的所以它能压缩信息。 同样可以根据这样的启发如果高维度的数据想要简化需要降低维度降低维度其实是减少信息的密度如果高维度的信息展开在低纬度是很庞大的。 这有点像一个立方体如果展开平铺下来是有六个面的。 2.2 信息的无序是因为维度不够高 除了GPT能够回答各行各业的知识外还有个神奇之处它能给出网络上没有出现问题的答案而且是合理的答案而且是符合人类语言习惯的答案。 所以引申出了一个问题GPT是否真的理解了我们的问题如果理解了为什么有的简单的数学计算会计算错误如果没理解它又如何给出了网上没有问题的合理答案那 书中给出GPT本质在做续写我们给出问题或提示词后GPT根据我们给出的问题或词语给出最合理的续写它觉得下个出现的词语靠的概率即哪个词最该出现就给出哪个词语在使用过程中常常看到单词是一个个蹦出来的那是从众多单词中选择最合理的单词输出出来这个类似于N-Gram即每个单词出现不是孤立的和它前面的N个词语相关这就可以找到序列的秩序关系同样的原理对我们的语言也是一样如果N足够长那生成的句子读起来就是合理的了更奇妙的是这种合理不光是语言通顺与否的合理而且是逻辑的合理没有使用任何推理仅仅使用神经网络训练出来的模型就可以达到这种令人惊叹的效果。 这让我想到的那句话一切答案都在问题之中有了GPT我们有了问题也就有了答案嗨你看提问比答案更重要了也可以说我们能理解的答案其实蕴藏在以前的文本之中只是GPT帮我们拼凑出来展现给我们。 从某种意义来说知识本质就是一种词语的关系词序的排列不光包括科学知识还包括语言习惯、语义语法知识只要维度够高任何知识都可以通过单词来组合得到这种组合的逻辑关系和内在联系可以将知识或信息进行高度的压缩。 看极客时间 《AI大数据模型之美》的一个对评分进行情感分析的例子通过简单的调用GPT的API计算评论内容和好评、差评 这两个词语的向量相似性轻易地区分出了好评的评论和差评的评论 import openai
import os
from openai.embeddings_utils import cosine_similarity, get_embedding# 获取访问open ai的密钥
openai.api_key os.getenv(OPENAI_API_KEY)
# 选择使用最小的ada模型
EMBEDDING_MODEL text-embedding-ada-002# 获取好评和差评的
positive_review get_embedding(好评)
negative_review get_embedding(差评)positive_example get_embedding(买的银色版真的很好看一天就到了晚上就开始拿起来完系统很丝滑流畅做工扎实手感细腻很精致哦苹果一如既往的好品质)
negative_example get_embedding(降价厉害保价不合理不推荐)def get_score(sample_embedding):return cosine_similarity(sample_embedding, positive_review) - cosine_similarity(sample_embedding, negative_review)positive_score get_score(positive_example)
negative_score get_score(negative_example)print(好评例子的评分 : %f % (positive_score))
print(差评例子的评分 : %f % (negative_score)) 得分结果 好评例子的评分 : 0.070963
差评例子的评分 : -0.081472 好评的评论和好评这个词语的相似性比和差评 这个词语的相似性要大相反也一样成立简单来说在高维度上好评的评论和好评 靠的更近和差评离的更远简单又神奇就算把例子复杂化一点,用否定的否定来构建句子仍然可以得到一样的效果 good_restraurant get_embedding(这家餐馆太好吃了一点都不糟糕)
bad_restraurant get_embedding(这家餐馆太糟糕了一点都不好吃)good_score get_score(good_restraurant)
bad_score get_score(bad_restraurant)
print(好评餐馆的评分 : %f % (good_score))
print(差评餐馆的评分 : %f % (bad_score)) 得分结果 好评餐馆的评分 : 0.062719
差评餐馆的评分 : -0.074591 这说明这些单词或句子在一个高维度的空间上是存在一定的关系的这个关系就是我们平时所说的所谓的知识。 以前我们都是通过学习文章通过整体去理解文章先通过语言的逻辑理解文章的含义再通过逻辑抽象理解文章表达的内容。而GPT是从单词的关系去理解只要战的维度高就能学到其中的逻辑其中我们低维度视角无法看到的内容。 三 未来 3.1 GPT的智能 据说GPT新版本已经通过了图灵测试从一定程度上来说它具备了人类所说的智慧文字一直认为是人类才会的高级玩意通过它我们交流了思想、传递了知识、交换了信息现在GPT一个模型只有1750亿参数的模型通过学习网络上的文本资料竟然构建了这样的知识库不存储知识却能根据知识回答问题不存语法规则却回答的合情合理这种神奇的涌现效果让人感觉神奇的同时思考起来又不寒而栗。 随着它学习的越来越多内容不光有问题据说还有视频、录音、图片等它会越来越像个各方面都在行的专家可以在我们冥思苦想没有灵感的时候给我们以启示这些知识都是存在的而我们却不知道竟然可以如此组合它不能从无到有创建出一个独立的分支却可以通过各种组合将现有的知识利用达到极致这种组合何尝不是一种创新利用它的能力未来人类在交叉学科上在知识本质的理解上语言规律的摸索上给人们更多的启迪。 这让我想起了GPT的API中的温度参数这个参数在0-2之间变化温度为0输出的回答变化越小温度为2输出的变化最大而且每个输出在语法和语义上都是合理的答案的多样性也许是人们创新的一个源泉了。 所以GPT的智能会越来越高、越来越像个各方面的专家能给使用者带来不可思议组合式的创新。 3.2 AI最终会统治地球嘛 现在的GPT对发明者来说他们开始可能也不知道会有如此神奇的效果通过多层神经网络的组合通过大类的样本的续写训练竟然涌现出来了类人的智能。 为什么2千亿左右的参数或神经网络的连接就可以模拟人类的知识和语言习惯除N-Gram外是否蕴含其他逻辑其原理到底是什么如果参数增加到万亿训练出来的又是一个什么样的怪物它是否拥有着自主意识这个自主意识和人类的又肯定不同它可能不是人们想的那样有什么邪恶的想法想要逃出来统治人类啥的。它可能只是按照自己的规律走只是从人类角度来看它可能有了自己的思考和逻辑它不知道可能只是沿着最优解去做统治不统治人类可能只是个副产物。 我不知道AI最终是否会统治地球只是知道如果统治了地球那一定是以一个我们难以想象或理解的方式。
