推广 热搜： 可以  搜索引擎  page  企业  百度  个数  使用  选择  音视频  行业 
首页 > 最新动态 > 相关文章

详解基于搜狗搜索开发的微信公众号的爬虫系统（C#）

   日期：2024-12-17     移动：http://ww.kub2b.com/mobile/quote/5349.html
先来做个简单的自我介绍吧！

目前我在从事NET项目开发工作，此次我是使用C#来实现的微信爬虫。虽然目前关于实现微信爬虫的技术有很多但是大部分都是通过python来实现的，利用C#来实现的我相信还是在少数的，所以我觉得我开发的这个还是有看头的。同时也希望潜伏于论坛的各位大佬都能前来冒个泡，多多指导！


一、 项目结构


如下图





API类：


所有直接的操作封装好在API类中,直接使用里面的方法


Basic类:
主要处理逻辑

FileCache：
主要出现验证码的时候需要使用Ccokie验证身份，此类可以加密后序列化保存UIN,BIZ,cookie等内容以供后续使用

HttpHelper类：
网络请求，包括图片

Tools类：
图片处理，cookie加载等

依赖包可以直接使用package文件夹的版本
也可以自行在NuGet添加 如(visual studio-->tools-->Nuget Package Manager-->Package Manager Console)：



  1. <font face="微软雅黑">Install-Package HtmlAgilityPack</font>
复制代码


二、 数据结构


本项目根据微信公账号以及搜狗搜索定义了多个结构，可以查看模型类，主要包括以下：


公众号结构：



  1. <font face="微软雅黑">public struct OfficialAccount
  2.     {

  4.         public string AccountPageurl;
  5.         public string WeChatId;
  6.         public string Name;
  7.         public string Introduction;
  8.         public bool IsAuth;
  9.         public string QrCode;
  10.         public string ProfilePicture;//public string RecentArticleUrl;
  11.     } </font>
字段含义


字段含义 ccountPageurl 微信公众号页 WeChatId 公号ID（唯一) Name 名称 Introduction 介绍 IsAuth 是否官方认证 QrCode 二维码链接 ProfilePicture 头像链接


公号群发消息结构(含图文推送)


  1. <font face="微软雅黑">public struct BatchMessage
  2.     {
  3.         public int Meaasgeid;
  4.         public string  SendDate;
  5.         public string Type; //49:图文，1:文字，3:图片，34:音频，62:视频public string Content;

  7.         public string ImageUrl;

  9.         public string PlayLength;
  10.         public int FileId;
  11.         public string AudioSrc;

  13.         //for type 图文public string ContentUrl;
  14.         public int Main;
  15.         public string Title;
  16.         public string Digest;
  17.         public string SourceUrl;
  18.         public string Cover;
  19.         public string Author;
  20.         public string CopyrightStat;

  22.         //for type 视频public string CdnVideoId;
  23.         public string Thumb;
  24.         public string VideoSrc;

  26.         //others
  27.     }</font>


字段含义


字段含义 Meaasgeid 消息号 SendDate 发出时间（unix时间戳） Type 消息类型:49:图文， 1:文字， 3:图片， 34:音频， 62:视频 Content 文本内容（针对类型1即文字） ImageUrl 图片（针对类型3，即图片） PlayLength 播放长度（针对类型34，即音频，下同） FileId 音频文件id AudioSrc 音频源 ContentUrl 文章来源（针对类型49，即图文，下同） Main 不明确 Title 文章标题 Digest 不明确 SourceUrl 可能是阅读原文 Cover 封面图 Author 作者 CopyrightStat 可能是否原创？ CdnVideoId 视频id（针对类型62，即视频，下同） Thumb 视频缩略图 VideoSrc 视频链接


文章结构


  1. <font face="微软雅黑"> public struct Article
  2.     {
  3.         public string Url;
  4.         public List<string>Imgs;
  5.         public string Title;

    详解基于搜狗搜索开发的微信公众号的爬虫系统（C#）

  6.         public string Brief;
  7.         public string Time;
  8.         public string ArticleListUrl;
  9.         public OfficialAccount officialAccount;
  10.     }</font>


字段含义


字段含义 Url 文章链接 Imgs 封面图（可能多个） Title 文章标题 Brief 简介 Time 发表日期（unix时间戳） OfficialAccount 关联的公众号



搜索榜结构


  1. <font face="微软雅黑">public struct HotWord
  2.     {
  3.         public int Rank;//排行
  4.         public string Word;
  5.         public string Jumplink; //相关链接
  6.         public int HotDegree; //热度</font>

三 、xpath介绍


什么是 XPath?


XPath 使用路径表达式在 XML 文档中进行导航
XPath 包含一个标准函数库
XPath 是 XSLT 中的主要元素
XPath 是一个 W3C 标准
简而言之，Xpath是XML元素的位置,下面是W3C教程时间，老鸟直接跳过



XML 实例文档


我们将在下面的例子中使用这个 XML 文档。



  1. <font face="微软雅黑"><?xml version="1.0" encoding="ISO-8859-1"?>

  3. <bookstore>

  5. <book>
  6.   <title lang="eng">Harry Potter</title>
  7.   <price>29.99</price>
  8. </book>

  10. <book>
  11.   <title lang="eng">Learning XML</title>
  12.   <price>39.95</price>
  13. </book>

  15. </bookstore></font>



选取节点


XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。


下面列出了最有用的路径表达式：



表达式 描述 nodename 选取此节点的所有子节点 / 从根节点选取 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置 . 选取当前节点 .. 选取当前节点的父节点 @ 选取属性

实例


在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：



路径表达式结果bookstore选取 bookstore 元素的所有子节点。/bookstore
选取根元素 bookstore。
注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book选取属于 bookstore 的子元素的所有 book 元素。//book选取所有 book 子元素，而不管它们在文档中的位置。bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。//@lang选取名为 lang 的所有属性。


谓语（Predicates）


谓语用来查找某个特定的节点或者包含某个指定的值的节点。


谓语被嵌在方括号中。


实例


在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：



路径表达式结果/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。


选取未知节点
XPath 通配符可用来选取未知的 XML 元素。
通配符描述*匹配任何元素节点。@*匹配任何属性节点。node()匹配任何类型的节点。
实例
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
路径表达式结果/bookstore/*选取 bookstore 元素的所有子元素。//*选取文档中的所有元素。//title[@*]选取所有带有属性的 title 元素。


如图，假设我要抓取首页一个banner图，可以在chrome按下F12参考该元素的Xpath，





即该图片对应的Xpth为: //*[@id="loginWrap"]/div[4]/div[1]/div[1]/div/a[4]/img


解读：该图片位于ID= loginWrap下面的第4个div下的...的img标签内

为什么这里介绍Xpath，是因为我们网页分析是使用HtmlAgilityPack来解析,他可以把根据Xpath解析我们所需的元素。
比如我们调试确定一个文章页面的特定位置为标题，图片，作者，内容，链接的Xpath即可完全批量化且准确地解析以上信息
  
四、 使用HtmlAgilityPack解析网页内容


HttpTool类里封装了一个较多参数的HTTP GET操作,用于获取搜狗的页面：


因为搜狗本身是做搜索引擎的缘故，所以反爬虫是非常严厉的，因此HTTP GET的方法要注意携带很多参数，且不同页面要求不一样.一般地，要带上默认的


referer和host 然后请求头的UserAgent 要伪造，常用的useragent有



  1. <font face="微软雅黑">public static List<string> _agent = new List<string>
  2. {
  3. "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
  4. "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
  5. "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
  6. "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
  7. "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
  8. "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
  9. "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
  10. "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
  11. "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
  12. "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
  13. "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
  14. "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
  15. "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
  16. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
  17. "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
  18. "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
  19. };</font>


自定义的GET 方法


  1. <font face="微软雅黑">/// <summary>
  2.         /// 指定header参数的HTTP Get方法
  3.         /// </summary>
  4.         /// <param name="headers"></param>
  5.         /// <param name="url"></param>
  6.         /// <returns>respondse</returns>
  7.         public string Get(WebHeaderCollection headers, string url ,string responseEncoding="UTF-8",bool isUsecookie = false)
  8.         {
  9.             string responseText = "";
  10.             try
  11.             {
  12.                 var request = (HttpWebRequest)WebRequest.Create(url);
  13.                     request.Method = "GET";
  14.                 foreach (string key in headers.Keys)
  15.                 {
  16.                     switch (key.ToLower())
  17.                     {
  18.                         case "user-agent":
  19.                             request.UserAgent = headers[key];
  20.                             break;
  21.                         case "referer":
  22.                             request.Referer = headers[key];
  23.                             break;
  24.                         case "host":
  25.                             request.Host = headers[key];
  26.                             break;
  27.                         case "contenttype":
  28.                             request.ContentType = headers[key];
  29.                             break;
  30.                         case "accept":
  31.                             request.Accept = headers[key];
  32.                             break;
  33.                         default:
  34.                             break;
  35.                     }
  36.                }
  37.                 if (string.IsNullOrEmpty(request.Referer))
  38.                 {
  39.                     request.Referer = "http://weixin.sogou.com/";
  40.                 };
  41.                 if (string.IsNullOrEmpty(request.Host))
  42.                 {
  43.                     request.Host = "weixin.sogou.com";
  44.                 };
  45.                 if (string.IsNullOrEmpty(request.UserAgent))
  46.                 {
  47.                     Random r = new Random();
  48.                     int index = r.Next(WechatSogouBasic._agent.Count - 1);
  49.                     request.UserAgent = WechatSogouBasic._agent[index];
  50.                 }
  51.                 if (isUsecookie)
  52.                 {
  53.                     cookieCollection cc = Tools.LoadcookieFromCache();
  54.                     request.cookieContainer = new cookieContainer();
  55.                     request.cookieContainer.Add(cc);
  56.                 }
  57.                 HttpWebResponse response = (HttpWebResponse)request.GetResponse();
  58.                 if (isUsecookie && response.cookies.Count >0)
  59.                 {
  60.                     var cookieCollection = response.cookies;
  61.                     WechatCache cache = new WechatCache(Config.CacheDir, 3000);
  62.                     if (!cache.Add("cookieCollection", cookieCollection, 3000)) { cache.Update("cookieCollection", cookieCollection, 3000); };
  63.                 }
  64.                 // Get the stream containing content returned by the server.
  65.                 Stream dataStream = response.GetResponseStream();
  66.                 //如果response是图片，则返回以base64方式返回图片内容，否则返回html内容
  67.                 if (response.Headers.Get("Content-Type") == "image/jpeg" || response.Headers.Get("Content-Type") == "image/jpg")
  68.                 {
  69.                     Image img = Image.FromStream(dataStream, true);
  70.                     using (MemoryStream ms = new MemoryStream())
  71.                     {
  72.                         // Convert Image to byte[]
  73.                         //img.Save("myfile.jpg");
  74.                         img.Save(ms,System.Drawing.Imaging.ImageFormat.Jpeg);
  75.                         byte[] imageBytes = ms.ToArray();
  76.                         // Convert byte[] to base64 String
  77.                         string base64String = Convert.Tobase64String(imageBytes);
  78.                         responseText = base64String;
  79.                     }
  80.                 }
  81.                 else //read response string
  82.                 {
  83.                     // Open the stream using a StreamReader for easy access.
  84.                     Encoding encoding;
  85.                     switch (responseEncoding.ToLower())
  86.                     {
  87.                         case "utf-8":
  88.                             encoding = Encoding.UTF8;
  89.                             break;
  90.                         case "unicode":
  91.                             encoding = Encoding.Unicode;
  92.                             break;
  93.                         case "ascii":
  94.                             encoding = Encoding.ASCII;
  95.                             break;
  96.                         default:
  97.                             encoding = Encoding.Default;
  98.                             break;
  99.                               
  100.                     }
  101.                     StreamReader reader = new StreamReader(dataStream, encoding);//System.Text.Encoding.Default
  102.                     // Read the content.
  103.                     if (response.StatusCode == HttpStatusCode.OK)
  104.                     {
  105.                         responseText = reader.ReadToEnd();
  106.                         if (responseText.Contains("用户您好，您的访问过于频繁，为确认本次访问为正常用户行为，需要您协助验证"))
  107.                         {
  108.                             _vcode_url = url;
  109.                             throw new Exception("weixin.sogou.com verification code");
  110.                         }
  111.                     }
  112.                     else
  113.                     {
  114.                         logger.Error("requests status_code error" + response.StatusCode);
  115.                         throw new Exception("requests status_code error");
  116.                     }
  117.                     reader.Close();
  118.                 }

  120.                 dataStream.Close();
  121.                 response.Close();
  122.             }
  123.             catch (Exception e)
  124.             {
  125.                 logger.Error(e);
  126.             }
  127.             return responseText;
  128.         }</font>


前面关于Xpath废话太多，直接上一个案例，解析公众号页面：


  1. <font face="微软雅黑">public List<OfficialAccount> SearchOfficialAccount(string keyword, int page = 1)
  2.         {
  3.             List<OfficialAccount> accountList = new List<OfficialAccount>();
  4.             string text = this._SearchAccount_Html(keyword, page);//返回了一个搜索页面的html代码
  5.             Htmldocument pageDoc = new Htmldocument();
  6.             pageDoc.LoadHtml(text);
  7.             HtmlNodeCollection targetArea = pageDoc.documentNode.SelectNodes("https://ul[@class='news-list2']/li");
  8.             if (targetArea != null)
  9.             {
  10.                 foreach (HtmlNode node in targetArea)
  11.                 {
  12.                     try
  13.                     {
  14.                         OfficialAccount accountInfo = new OfficialAccount();
  15.                         //链接中包含了& html编码符，要用htmdecode，不是urldecode
  16.                         accountInfo.AccountPageurl = WebUtility.HtmlDecode(node.SelectSingleNode("div/div[@class='img-box']/a").GetAttributevalue("href", ""));
  17.                         //accountInfo.ProfilePicture = node.SelectSingleNode("div/div[1]/a/img").InnerHtml;
  18.                         accountInfo.ProfilePicture = WebUtility.HtmlDecode(node.SelectSingleNode("div/div[@class='img-box']/a/img").GetAttributevalue("src", ""));
  19.                         accountInfo.Name = node.SelectSingleNode("div/div[2]/p[1]").InnerText.Trim().Replace("<!--red_beg-->", "").Replace("<!--red_end-->", "");
  20.                         accountInfo.WeChatId = node.SelectSingleNode("div/div[2]/p[2]/label").InnerText.Trim();
  21.                         accountInfo.QrCode = WebUtility.HtmlDecode(node.SelectSingleNode("div/div[3]/span/img").GetAttributevalue("src", ""));
  22.                         accountInfo.Introduction = node.SelectSingleNode("dl[1]/dd").InnerText.Trim().Replace("<!--red_beg-->","").Replace("<!--red_end-->", "");
  23.                         //早期的账号认证和后期的认证显示不一样？，对比 bitsea 和 NUAA_1952 两个账号
  24.                         //现在改为包含该script的即认证了
  25.                         if (node.InnerText.Contains("document.write(authname('2'))"))
  26.                         {
  27.                             accountInfo.IsAuth = true;
  28.                         }
  29.                         else
  30.                         {
  31.                             accountInfo.IsAuth = false;
  32.                         }
  33.                         accountList.Add(accountInfo);
  34.                     }
  35.                     catch (Exception e)
  36.                     {
  37.                         logger.Warn(e);
  38.                     }
  39.                 }
  40.             }
  41.             
  42.          
  43.             return accountList;
  44.         }</font>


以上，说白了，解析就是Xpath调试，关键是看目标内容是是元素标签内容，还是标签属性，
如果是标签内容即形式为 <h>我是内容</h>
则： node.SelectSingleNode("div/div[2]/p[2]/label").InnerText.Trim();

如果要提取的目标内容是标签属性，如 <a href="http://www.360doc.com/im_target_url.htm" >点击链接</a>
则node.SelectSingleNode("div/div[@class='img-box']/a").GetAttributevalue("href", "")



五 、验证码处理以及文件缓存


这里需要着重的说一下，因为这个页面是属于微信的，所以反爬虫系统非常厉害！所以需要多次刷新容易产生要属于验证码的页面！





因此要向一个网址post验证码才可以解封


解封操作如下：


  1. <font face="微软雅黑">/// <summary>
  2.         /// 页面出现验证码，输入才能继续,此验证依赖cookie, 获取验证码的requset有个cookie，每次不同，需要在post验证码的时候带上
  3.         /// </summary>
  4.         /// <returns></returns>
  5.         public bool VerifyCodeForContinute(string url ,bool isUseOCR)
  6.         {
  7.             bool isSuccess = false;
  8.             logger.Debug("vcode appear, use VerifyCodeForContinute()");
  9.             DateTime Epoch = new DateTime(1970, 1, 1,0,0,0,0);
  10.             var timeStamp17 = (DateTime.UtcNow - Epoch).TotalMilliseconds.ToString("R"); //get timestamp with 17 bit
  11.             string codeurl = "https://mp.weixin.qq.com/mp/verifycode?cert=" + timeStamp17;
  12.             WebHeaderCollection headers = new WebHeaderCollection();
  13.             var content = this.Get(headers, codeurl,"UTF-8",true);
  14.             ShowImageHandle showImageHandle = new ShowImageHandle(DisplayImageFrombase64);
  15.             showImageHandle.BeginInvoke(content, null, null);
  16.             Console.WriteLine("请输入验证码：");
  17.             string verifyCode = Console.ReadLine();
  18.             string postURL = "https://mp.weixin.qq.com/mp/verifycode";
  19.             timeStamp17 = (DateTime.UtcNow - Epoch).TotalMilliseconds.ToString("R"); //get timestamp with 17 bit
  20.             string postData = string.Format("cert={0}&input={1}",timeStamp17,verifyCode );// "{" + string.Format(@"'cert':'{0}','input':'{1}'", timeStamp17, verifyCode) + "}";
  21.             headers.Add("Host", "mp.weixin.qq.com");
  22.             headers.Add("Referer", url);
  23.             string remsg = this.Post(postURL, headers, postData,true);
  24.             try
  25.             {
  26.                 JObject jo = JObject.Parse(remsg);//把json字符串转化为json对象  
  27.                 int statusCode = (int)jo.GetValue("ret");
  28.                 if (statusCode == 0)
  29.                 {
  30.                     isSuccess = true;
  31.                 }
  32.                 else
  33.                 {
  34.                     logger.Error("cannot unblock because " + jo.GetValue("msg"));
  35.                     var vcodeException = new WechatSogouVcodeException();
  36.                     vcodeException.MoreInfo = "cannot jiefeng because " + jo.GetValue("msg");
  37.                     throw vcodeException;
  38.                 }
  39.             }catch(Exception e)
  40.             {
  41.                 logger.Error(e);
  42.             }
  43.             return isSuccess;
  44.         }</font>


解释下：
先访问一个验证码产生页面，带17位时间戳
var timeStamp17 = (DateTime.UtcNow - Epoch).TotalMilliseconds.ToString("R"); //get timestamp with 17 bit
再向这个url query post你的验证码:
因此这里记得要启用如果启用了cookie，会通过FileCache类将cookie保存在缓存文件，下次请求如果开启cookie container的话就会带上此cookie



  1. <font face="微软雅黑">cookieCollection cc = Tools.LoadcookieFromCache();
  2. request.cookieContainer = new cookieContainer();
  3. request.cookieContainer.Add(cc);</font>
六、尾声
   
上面只是一部分，刚开始写的时候也没想到会有这么多坑，但是没办法，坑再多只能自己慢慢填了，比如OCR，第三方打码接入，多线程等等后期再实现。一个人的精力毕竟有限，相对满大街的Python爬虫，C#的爬虫性质的项目本来就不多，尽管代码写得非常粗糙，但是我选择了开放源码希望更多人参与

本文地址：http://ww.kub2b.com/quote/5349.html     企库往 http://ww.kub2b.com/ ,  查看更多

特别提示：本信息由相关用户自行提供，真实性未证实，仅供参考。请谨慎采用，风险自负。


0 条相关评论
相关最新动态
推荐最新动态
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号