GPT-4o-mini 分析图片
这篇教学会运用 Poe AI 里的 OpenAI GPT-4o 和 GPT-4o-mini 机器人,读取本机图片或网络上的图片,进行图片的分析,进一步撰写产生类似图片的提示词,甚至可以读取具有图表的图片,分析图表内容转换成表格呈现。
快速导览:
认识 GPT-4o 和 GPT-4o-mini
GPT-4o 是 OpenAI 在 2024 年中所推出最强大的语言模型,不仅数据库更新至 2023 年 10 月,更能读取网页和图片进行分析,而 GPT-4o-mini 虽然属于 GPT-4o 的小型模型,却也同样具备读取网页和分析图片的功能,还具有速度快、费用低、跨平台等优势,就算参数量不如 GPT-4o,却更适合一般人使用。
注意,GPT-4o-mini 有时没办法顺利读取网页或图片,可改换成 Gemini-1.5-Flash。
| GPT-4o | GPT-4o-mini | |
|---|---|---|
| 每则消息费用 | 300 | 15 |
| 读取网页 | 可以 | 可以 |
| 读取图片 | 可以 | 可以 |
| 速度 | 普通 | 快 |
| 语意理解与回复能力 | 极佳 | 好 |
Official bot 官方机器人里可以看见 GPT-4o 和 GPT-4o-mini 机器人,由于 GPT-4o 每则消息费用高达 300,通常直接使用 GPT-4o-mini 就能处理所有问题 ( 如果有进阶需求就另当别论 ),点击机器人就可以开始和机器人聊天。
- GPT-4o:https://poe.com/GPT-4o
- GPT-4o:https://poe.com/GPT-4o-Mini
从机器人信息中可以看到两者的消耗的 Poe 代币差了 20 倍。
读取图片内容
对于一般用户来说,各种大型语言模型机器人都大同小异,但 GPT-4o 和 GPT-4o-mini 却能读取上传的图片内容或网络图片内容,下方范例使用 GPT-4o-mini 机器人,上传一张“我就赞”的经典迷因图片,并询问机器人这张图片是什么内容 ( 使用 GPT-4o 也是相同的做法,但因为消耗的 Poe 代币太高,所以使用 GPT-4o-mini )。
初次使用时,有可能会遇到类似下图,机器人回应“不知道是什么”的状况,通常只要改变问句方式就能解决。
尝试修改问句的结构,将问题改成“幫我描述這張圖片的主題或場景”,GPT-4o-mini 机器人就会分析图片并回答,结果也相当准确。
换成宝可梦的动漫角色,GPT-4o-mini 竟然也能精准的描述出正确的名字和构图。
使用网址读取图片
除了使用上传的功能上传图片,由于 GPT-4o-mini 具有读取网址的功能,也可以直接提供图片网址,搭配“幫我描述這張圖片的主題或場景”提示词,读取图片内容,范例使用 STEAM 教育学习网的一张图片,GPT-4O-mini 机器人可以精准读取内容。
撰写产生类似图片的提示词
既然能够读取图片内容,就能运用 GPT-4o-mini 协助撰写“产生图片的提示词”,下方范例上传了“我就赞”的迷因图片,并使用“根據這張圖片的主題和場景,撰寫一段要透過 AI 產生類似圖片的中英文提示詞”作为提示,机器人就会撰写产生类似图片的提示词。
运用 Poe AI 的 Playground v2.5 机器人 ( 参考 Poe 生成图片机器人 ),贴上刚刚产生的提示词,就会产生一张类似的图片。
快速重点整理图片内容
运用 CPT-4o-mini 强大的图取图片能力,如果遇到“看不懂”的说明文字,也可以拍照上传请机器人进行分析和重点整理,举例来说,下图是一张日本神户动物世界的说明标语。
上传图片后,使用“請協助分析這張圖片所描述的內容,並用中文進行重點整理描述”提示词,机器人就会分析图片内容,并进行中文的重点整理。
除了辨识文字,GPT-4o-mini 机器人甚至可以读取图表,将图表转换成表格呈现,下图是 2024 台湾总统大选最后的票图表。
上传图片后,使用“請協助解析這張圖表,並用表格方式呈現”提示词,机器人就会分析图片内容,截取出图表的部分进行整理。
小结
GPT-4o 和 GPT-4o-mini 读取和分析图片的能力非常好用,除了产生产生类似图片的提示词,更能真正分析图片内容,协助用户快速处理图片里的信息,这也是未来应用 AI 的一大重点!
微信扫码关注
抖音扫码关注