爬虫,可以解释为爬取网页中的数据,收集和提取互联网上的数据。首先我们需要做什么呢?第一步:发出http请求,获取html字符串;第二步:对字符串做查找正则,伪代码;第三步:聚焦,聚焦在所要的数据标签比如table、title、picture等等;最后:将这些数据放进JSON数组。
你也许想问:难不成上面的步骤还能再简化吗? 当然不是,上面都是必要的操作,那为什么说现在爬虫可以变得更加轻松了呢。其实我们要做的就是将传统编程与提示词工程结合,这么说也许会很模糊,也就是用你固有的编程思维结合AI思维,来将爬虫简单化。那该如何简单化呢?上面列举了爬虫所需的几个步骤,我们也知道,这是每个爬虫操作都需要去执行的。这种固有的操作,我们完全可以将它交给AI,想必说到这里,你也明白了。就是将这几个步骤结合在一起让AIGC来完成,实现传统编程和提示词工程的碰撞,从编程思维来到AI思维,将四步操作变成一步,就是将html提取,编辑好合适的语言发给AIGC,它就会生成你需要的东西。
对豆瓣电影列表的爬虫代码如下(以往的方法)
这代码量挺大吧,我也觉得挺大。而现在给的方法,一句代码都不需要自己动手,只需要CTRL+c和CTRL+v,当然了,不是复制我这里的代码,而是找到你需要的html,再写上你的需求,发给AIGC。
如下(新方法)
<a class="nbg" href="https://movie.douban.com/subject/35490167/" title="破墓">
<img src="https://img1.doubanio.com/view/photo/s_ratio_poster/public/p2905896429.webp" width="75" alt="破墓" class=""> </a> </td>
<td valign="top">
<div class="pl2">
<a href="https://movie.douban.com/subject/35490167/" class=""> 破墓 / <span style="font-size:13px;">The Unearthed Grave / Exhuma</span> </a>
<p class="pl">2024-02-16(柏林电影节) / 2024-02-22(韩国) / 崔岷植 / 金高银 / 柳海真 / 李到晛 / 全镇基 / 洪瑞俊 / 李大卫 / 小山力也 / 金智安 / 金善映 / 韩国 / 张在现 / 134分钟 / 破墓 / 悬疑 / 惊悚 / 恐怖 / 张宰贤 Jae-hyun Jang / 韩语 / 日语 / 英语</p> <div class="star clearfix"> <span class="allstar35"></span>
<span class="rating_nums">6.7</span>
<span class="pl">(105471人评价)</span> </div> </div> </td> </tr> </tbody></table>
这是一部电影的html片段,获取需要电影名(name),封面链接(picture),简介(info),评分(score),评论人数(commentsNumber)。请使用括号的单词作为属性名,以JSON对象的格式返回
将它发给AIGC,你便会得到所爬的数据
你看,需要的数据已经获取到了,不需要写任何一句代码,这样一来,爬虫是不是轻松了许多。