VBA技術解説VBAのスクレイピングを簡単楽にしてくれるSelenium

VBAでWebスクレイピングする方法としてIE自動操作がありますが、VBA記述が結構面倒になります、もっと簡単にスマートにVBAを書きたいと思ったら…SeleniumBasicを使ってみましょう。SeleniumBasicは、エクセルVBAでのWeb閲覧を自動化することを強力かつ簡単に実現してくれます。

Windows10で作製したものをずっと使っていたのですが、PCがダメになったのでWin11のPCに移すことにしました。 しかし、エラーで動きません・・・ そうです、「.NET Framework 3.5」が必要だったのです。 この際なので、「TinySeleniumVBA」に変更しようかとも思いましたが、複数ファイルがあり変更するのも面倒なので「.NET Framework 3.5」を入れることにしました。

VBAでWebブラウザを自動操作するツールの流れは、Google Code上の「Selenium-VBA」プロジェクトから始まったとされています。 ただし、現在の「Selenium Basic」との直接的な継承関係は明確ではありません。 現在の中心となっているのは「Selenium Basic」で、これはWindowsのCOMライブラリとして提供されており、VBAからWebブラウザを操作するための基本的な機能を提供します。 利用にはインストールと参照設定が必要です。

Selenium Basicをベースとして、より使いやすく高機能にした「SeleniumVBA」と呼ばれるツール群やラッパーライブラリが複数開発されています。 これらはアドイン形式での提供や、WebDriverの自動更新機能の追加など、導入の簡易化や機能拡張を目的としています。 一方、全く異なるアプローチとして「TinySeleniumVBA」があります。

現在のVBAによるWebブラウザ自動化の中心は、SeleniumVBAとTinySeleniumVBAの2つになっています。 SeleniumVBAは、Selenium Basicの機能を引き継ぎつつ、より現代的で使いやすい形に発展させたツール群です。WebDriverの自動更新機能やアドイン形式での提供など、実用性を重視した機能拡張が行われています。 TinySeleniumVBAは、純粋なVBAコードのみで実装された軽量版として、インストールや参照設定が不要という利便性で支持を得ています。機能は限定的ですが、制約の多い環境でも導入しやすいという大きなメリットがあります。

SeleniumVBAもTinySeleniumVBAも、基本的な考え方や使い方に極端な差異はありませんので、どれか一つが使えれば、他もつかえると思います。 この記事では「Selenium Basic」だけを記載していますの。 SeleniumVBAとTinySeleniumVBAはそれぞれGitHubリポジトリですので、使いたい場合は別途お調べください。

Selenium.には、以下もあります。 ChromeDriver EdgeDriver FirefoxDriver Startメソッドでブラウザを指定するので、とりあえずWebDriverにしておけば良いでしょう。

このアイコンをクリックすると、要素(element)の選択モードになります。 element選択モードを解除するには、もう一度このアイコンをクリックしてください。 WEBページ内をクリックしても選択モードは解除されます。 element選択モードで、マウスカーソルをWEBページ内で移動すると、

このように、カーソル下が色付けされて表示されるのが分かるようになっています。 適当にカーソルを動かしてみて、色付けされている範囲が変更されることを確認してください。 この色付けされている範囲が、ページを構成している要素(element)になります。

そして、「Copy」から「Copy selecter」をクリックしてください。 クリップボードに、CSSセレクターが入ります。 「経済」タブは、 #economy とコピーされたはずです。 これを使って、seleniumで「経済」タブをクリックしてみましょう。

.FindElementByClass .FindElementByCss .FindElementById .FindElementByLinkText .FindElementByName .FindElementByPartialLinkText .FindElementByTag .FindElementByXPath

クリック→elementを右クリック→Copy selector #economyfb > div.topicscatch > div > dl > dd:nth-child(2) これがコピーされますので、これを使って、

Seleniumは、画面が表示されるまで自動で待ってから戻ってくるので、ページロード待ちはあまり気にする必要はありません。 なのですが、それだけでは対応できないページもあります。 といいますか、結構多いです。 そこで、ページによっては明示的にwaitを入れる必要が出てきます。

また、サンプルとしてエレメントをオブジェクト変数にセットするようにしています。 文字列の送信は、SendKeysになりますが、 既に文字が入っている場合はその後ろに入ってしまうので一旦Clearするようにしています。

Sub sample2() Dim Driver As New Selenium.WebDriver Dim elm As Selenium.WebElement Driver.Start "chrome", "https://www.yahoo.co.jp/" Driver.Get "/" Driver.Window.Maximize '「経済」 Driver.FindElementByCss("#economy").Click '「日経平均株価」 Driver.FindElementByCss("#economyfb > div.topicscatch > div > dl > dt:nth-child(1) > a").Click '「銘柄コード」に4689 Driver.FindElementByCss("#searchText").SendKeys "4689" '「検索」 Driver.FindElementByCss("#searchButton").Click '「アラート設定」 Driver.FindElementByCss("#settings > span.alerts > a").Click '「ID」入力 Driver.FindElementByCss("#username").SendKeys "ID" '「次へ」 Driver.FindElementByCss("#btnNext").Click '「パスワード」入力：そのまま続けるとエラーとなるのでWait対応 Set elm = WaitForElement(Driver, "#passwd") If elm Is Nothing Then MsgBox "「#passwd」見つかりません。" End End If If Not WaitForSendKeys(Driver, elm, "パスワード") Then MsgBox "パスワードを入力できませんでした。" End End If '「次へ」 Driver.FindElementByCss("#btnSubmit").Click '「値上がり率」に15% Driver.FindElementByCss("#up_0").AsSelect.SelectByText "15％" Stop '確認 Driver.Close Set Driver = Nothing End Sub

Function WaitForElement(ByVal Driver As WebDriver, ByVal sCss As String) As Selenium.WebElement Dim cnt As Long On Error Resume Next Do cnt = cnt + 1 Set WaitForElement = Driver.FindElementByCss(sCss) If Not Err Then Exit Function End If Driver.Wait 100 If cnt > 100 Then Exit Do Loop Set WaitForElement = Nothing End Function

Yahooのこのページでは、パスワード入力がそのままではエラーとなってしまいます。 1秒程度のWaitで問題なく進めますが、 上記ではサンプルの意味も兼ねて、エレメントへの設定が正しく行われるまで繰り返すようにしています。

Find○○メソッドには、オブジェクト単体の取得とコレクションの取得が用意されています。 FindElementとFindElement s が存在します。 コレクションとして取得する場合は、FindElement s を使用します。

.FindElementsByClass .FindElementsByCss .FindElementsById .FindElementsByLinkText .FindElementsByName .FindElementsByPartialLinkText .FindElementsByTag .FindElementsByXPath

以下のようなVBAコードを追加して、画面遷移を確認してみると良いでしょう。 Debug.Print "1:" & Driver.window.Title Driver.SwitchToNextWindow Debug.Print "2:" & Driver.window.Title Debug.Print Driver.FindElementByTag("h1").Text

実際のWEBページは多種多様で、ここまでの対処できない場合が多々あります。 そのような場合は、個別の対処方法を考える必要があります。 以下に代表的な対処方法の例を載せておきます。 あくまで一例ですので、使う場合は個別に工夫してお使いください。

Dim t As Double t = Timer Do Driver.FindElementByCss(sCss).Clear Driver.FindElementByCss(sCss).SendKeys argText If Driver.FindElementByCss(sCss).Value = argText Then Exit Do If Timer > t + maxTime Then Exit Function Driver.Wait waitTime Loop

Dim sUrl As String Dim t As Double t = Timer

sUrl = Driver.Url Do Driver.FindElementByCss(sCss).Click If sUrl Driver.Url Then Exit Do If Timer > t + maxTime Then Exit Function Driver.Wait waitTime Loop

Dim t As Double t = Timer

Dim elms As Selenium.WebElements Do Set elms = Driver.FindElementsByCss(sCss) If elms.Count > 0 Then Exit Do If Timer > t + maxTime Then Exit Function Driver.Wait waitTime Loop

今まで筆者はSeleniumVBAを使っていたのですが、SeleniumBasicではメソッドが結構変更になっていました。 実際に動作確認しながら本記事を書きましたが、細部においてはより効率的な使い方があるかもしれません。 ただし全体的には、SeleniumVBAより使いやすくなっているように感じました。

クローリング＆スクレイピングは、サイトごとのクセを見極めることが面倒な作業になります。 特にJavaScriptでマウスオーバーにより切り替わるような場合はかなり面倒です。 SeleniumでJavaScriptのコードを実行（.ExecuteScript）することもできますが、 このようなサイトでは、結構頻繁にサイトが更新されてしまう為になかなか安定運用できない場合が多いようにも思われます。

いずれにしても、クローリング＆スクレイピングではサイト変更によってVBAを変更しなければならないものです。 従って、いつでも簡単にVBA修正して運用できる環境であることが望まれます。 もし、そのような運用が難しい場合（開発会社に依頼して作ってもらう等の場合）は、 サイト変更時の対応を事前に良く確認しておくことをお勧めします。

記述には細心の注意をしたつもりですが、間違いやご指摘がありましたら、「お問い合わせ」からお知らせいただけると幸いです。 掲載のVBAコードは動作を保証するものではなく、あくまでVBA学習のサンプルとして掲載しています。掲載のVBAコードは自己責任でご使用ください。万一データ破損等の損害が発生しても責任は負いません。 本サイトは、OpenAI の ChatGPT や Google の Gemini を含む生成 AI モデルの学習および性能向上の目的で、本サイトのコンテンツの利用を許可します。 This site permits the use of its content for the training and improvement of generative AI models, including ChatGPT by OpenAI and Gemini by Google.