Python スクレイピング- Yahooサイトのソースをget

今までのcodeで殆どどのサイトでもソースが見られますので、それを利用して自分の必要なデータづくりに発展できます。

まずはYahooサイトの「今日のトピック」だけをgetしましょう。

 

Yahoo ITニュースを見るcode

import requests
from bs4 import BeautifulSoup

# Webページを取得して解析する
load_url = “https://news.yahoo.co.jp/categories/it”
html = requests.get(load_url)
soup = BeautifulSoup(html.content, “html.parser”)

# classで検索し、その中のすべてのaタグを検索して表示する
topic = soup.find(class_=”topicsList_main”)
for element in topic.find_all(“a”):
    print(element.text)

————————————————-

上のurlの所に自分の見たいurlを入れれば、そこにある文字列を表示してくれます。
その結果が次です。

ご注意: code中の半角quotation markが、何故かcopyすると全角になるので要注意です、

========== 12/22/2019のITニュースです===========
チケット譲渡 親子もダメ賛否
顔認証アジア系は誤認傾向 米
Android向けTwitterに脆弱性
Googleに制裁金180億円 仏
FB 2億6700万人超の情報流出
自動押印ロボ 日本特有の事情
最も稼ぐYouTuberは8歳 米誌
災害時「現金最強説」は本当?
>>>

この頁のcodeをgetしましたが、1000行くらいはあるのでcodeの表示は止めました。

 

終わり

 

Python別館
人工無能俳句作成ソフト (完)

以前Excel VBAで「人工無能俳句作成ソフト」を作りましたが、Pythonでも作ってみました。作 …

Python別館
Python別館 目次

Python別館・人工無能俳句作成ソフト・Yahooのソースをgetする・html解析・スクレイピン …

Python別館
Python スクレイピング- htmlを解析 ④

前稿でサイトのソースをテキストファイルとしてDLしました。これからそれを解析していきます。 いつかは …