前言 要想學好爬蟲，必須把基礎打扎實，之前發布了兩篇文章，分別是使用XPATH和requests爬取網頁，今天的文章是學習Beautiful Soup并通過一個例子來實現如何使用Beautiful Soup爬取網頁。 什么是Beautiful Soup Beautiful

windows 7 系統下爬蟲抓取提示如下錯誤& 39;gbk& 39; codec can& 39;t encode character & 39; xa0& 39; 對于此Unicode字符(myUnWebItems)，需要print出來的話，由于本地系統是Windows中的cmd，默認codepage是CP936，即GBK的編

Python3 爬蟲 BeautifulSoup模塊（4）： bs4 Tag類型轉換為字符串 insert插入數據錯誤 cur execute( "insert into p_links(title,href,content) values ( %s , %s , %s ) " % (titleContents,full_url,cont_p))

windows系統中Python3.6 安裝MySQLdb模塊一直不成功，后來安裝了pymysql模塊

tag的 .contents 屬性可以將tag的子節點以列表的方式輸出:

soup = BeautifulSoup(cent,"html.parser")，slink = soup.find_all("a",href=re.compile(r"\/php\/(.+?)\/(\d+).html")) 輸出a標簽（超鏈）中沒有class屬性的

確定你的電腦已經安裝了pip：我本地的安裝路徑：E:\python\Scripts\pip3.6.exe，然后執行e:\python\Scripts>pip install beautifulsoup4