初步想法:
1.抓取每日最新资讯,得到一个初步的文章列表及内容
2.利用AI工具重写去重,得到优化后的文章内容
3.通过自动化方法推送至公众号后台
4.审核修改后发送
重点在前3步,希望通过前3步减少前期内容准备工作,最后仅需确认即可发布。当然上面的方法仅适用于资讯类公众号,其他类型比如内容为王的公众号可能参考意义有限。
下面就开始吧!
首先第一步:抓取每日最新资讯
1.确定抓取的内容来源
1.1 主题是什么?
抓取的内容要与公众号主题切合
1.2 关键词是什么?
关键词是技术相关,比如:前端、后端、AI、互联网行业动态等。
1.3 网站是什么?
抓取的网站合法是前提!
爬取网站内容需要遵守相关法律和规定,并尊重网站的隐私政策和服务条款。在进行爬取之前,建议先查看网站的 robots.txt 文件,以了解网站是否允许爬取,并遵守网站的爬取规则。
2.确定爬虫规则
技术栈:python
1.爬取文章类型及标题
python简单入门,可以参考下这篇博文:
参照上面博文,稍微修改下代码,我们可以得到滚动新闻区域的 新闻类型、文章标题和时间excel表格。
目前只拿到了文章标题,这显然是不行的,我们还需要文章内容,并且单页数据有50条,并不是所有类型的文章都是我们所需要的,需要筛选出合适的文章。
2.获取文章详情
点击文章标题会跳转一个新的页面,新页面里包含了文章的内容详情,我们需要模拟用户的点击操作来获取文章详情,这里用selenium来模拟用户操作。
3.筛选符合要求的数据
文章有很多类型(【游戏之家】、【IT资讯】、【智车之家】......),并不是所有类型的文章都是我们感兴趣的,这里我们只取类型是IT资讯、软件之家、科学探索、VR之家......的数据。
在获取类型时加一个筛选逻辑,修改类型的匹配规则,并且不符合类型的数据不加入数组中。
同时在获取内容详情是也需要对应修改,只获取符合要求类型的内容详情。
这样,我们就拿到符合要求的数据啦!
1.获取access_token
调用上传至素材库接口前需先获取通用access_token,appid和secret可从微信公众号后台【设置与开发】-【基本配置】处获取,记得一定要把调用接口的IP地址加入白名单,并且等待10min后再本地调试,否则会报错40164拿不到access_token,代码如下:
2.上传至草稿箱
使用新建草稿接口,微信开发者文档:
由于thumb_media_id(图文消息的封面图片素材id)是新建草稿接口的必传项,我们需要先得到一个thumb_media_id,这里使用新增其他类型永久素材接口:
接口调试工具调用接口新增一个图片素材 ,返回值可以拿到我们需要的media_id
最后,调用新建草稿接口,就可以把我们拿到的数据推送到推送到公众号后台了 。
大功告成!
-
确定目标网站和公众号:确定你要爬取信息的目标网站和微信公众号。确保目标网站允许爬取并遵守相关的爬虫规则。
-
选择合适的编程语言和爬虫框架:选择一种适合你的编程语言,如Python,并选择一个方便的爬虫框架,如Scrapy或BeautifulSoup。
-
编写爬虫代码:使用选定的编程语言和爬虫框架编写代码。首先,通过发送HTTP请求获取目标网页的HTML内容。然后,使用HTML解析技术从HTML内容中提取出你感兴趣的信息,如标题、发布日期、链接等。
-
设计数据存储方案:确定如何存储爬取的信息。你可以选择将数据保存到本地文件、数据库或云存储等。
-
设置定时任务:使用定时任务工具,如crontab(Linux)或Windows任务计划程序(Windows),设置每天自动运行爬虫程序的时间。
-
处理反爬机制:一些网站可能会采取反爬机制,如验证码、IP封锁等。你可以使用代理IP池、设置请求头信息、延时请求等方法来绕过反爬机制。
-
监控和错误处理:设置适当的日志记录和错误处理机制,以便在爬虫运行过程中及时发现和处理错误,确保爬虫的稳定性和可靠性。