爬虫通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

通过try,except进行异常处理,确保程序能够正确运行。

发表评论

电子邮件地址不会被公开。 必填项已用*标注