using System.IO;
using System.Net;
using System.Text;
namespace Common
{
public class Crawler
{
//爬虫类
/// <summary>
/// 根据url爬取网页数据
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
public static string WebTextUrl(string url)
{
WebRequest request = WebRequest.Create(url);
WebResponse response = request.GetResponse();
//定义一个流来保存获得的内容
Stream dataStream = response.GetResponseStream();
StreamReader reader = new StreamReader(dataStream, Encoding.UTF8);
string text = reader.ReadToEnd();
return text;
}
}
}
根据url爬取网页数据
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 最近有点时间在玩爬虫，看到网上很多喜欢的照片、电源以及图书等资源，心想能不能通过所学的Python技术把它给拿下来...
- 上篇说道，我们能够通过指定的URL来获取政府工作报告，但是怎样能够但是一遍遍粘贴地址和运行代码也有大量重复的工作，...
- 目标 爬取深交所互动易一个论坛型的网站 http://irm.cninfo.com.cn/szse/index.h...
