akatak’s blog

プログラム初心者の50代ビジネスマンがセカンドキャリアを目指して働きながらPythonを中心に独学しています。自らの覚え書きや感じたことなどを脈絡もなく書き連ねるブログです。

Pythonによる不動産情報のデータ取得&分析(5)【売却物件/データ前処理編】

akatak.hatenadiary.jp さて、前回記載したスクリプトでSUUMOさんのサイトからスクレイピングしましたデータを、分析しやすいようにきれいにしていきましょう。このデータの前処理は、データの状況にもよりますので、なかなか完全な自動化は難しいですよね。…

Pythonによる不動産情報のデータ取得&分析(4)【売却物件/Webスクレイピング編】

9月になりましたが、まだまだ、暑い日が続きますね。 Pythonによる不動産情報でデータ取得&分析については、賃貸物件編が一応終わりましたので、今回から売却物件編に進みたいと思います。 前回までの記事は、参考までにこちらにリンクを張っておきます。 …

【珈琲たいむ】Pythonでコロプレス図を描く

不動産関連の分析の最中ですが、【珈琲たいむ】にしましょう。今回は「コロプレス図」なるものを描いてみます。 英語では"choropleth map"ですが、日本語では「階級区分図」というようです。余り聴いたことがありませんが、Wikipediaでは以下のように記載が…

Pythonによる不動産情報のデータ取得&分析(3)【賃貸物件/分析編】

さて、いよいよ分析にチャレンジします。 目的は、家賃の適正水準を探ることです。今後、マンション売却物件の分析も行いたいと思っていますので、賃貸価格と売買価格の比較を行い、割安割高の検証を行うことも念頭に置いています(出来るかどうかはやってみ…

Pythonによる不動産情報のデータ取得&分析(2)【賃貸物件/データ前処理編】

こんにちは。 皆さん、賃貸物件のダウンロードはうまくいきましたでしょうか。 以前はうまくいっていたのですが、最近、BeautifulSoupのhtml.parserがうまく機能していないのか、ダウンロードの度に、一定数のページでGoogleChromeの検証での表示と異なる状…

Pythonによる不動産情報のデータ取得&分析(1)【賃貸物件/Webスクレイピング編】

暑い日が続きますね。皆さんはいかがお過ごしでしょうか。 我が家では、不動産の賃貸で住み替えか?購入か?を検討しなくてはいけない局面が生じたので、何かデータを取得して分析できないかな、とネットサーフィンをしていたところ、発見! 【データで見る…

なぜ、Pythonプログラミングの勉強を始めたのか。

そういえば、なぜ、セカンドキャリアを目指すのにプログラミングなのか。なぜ、プログラミング言語の中でPythonを選んだのか、についてまだお知らせしていませんでした。今後プログラミングを始めてみたいという方の参考になればと思い、今回は、プログラミ…

個人投資家のためのWebスクレイピング(5)〜 Pythonで「通貨インデックス」を作成してみよう

さて、個人投資家向けのスクレイピングシリーズが続いていますが、今回は、Webスクレイピングを利用して「通貨インデックス」を作成してみましょう。 「日経ヴェリタス」の記事の中に、毎週連載されている「世界通貨番付」というものがあります。最近、身近…

個人投資家のためのWebスクレイピング(4)〜 Pythonを使って、東証「空売り比率」を取得し、グラフ化してみよう【下】

前回積み残してしまった過去12ヶ月のバックデータを取り込むようにスクリプトを修正しましたので、アップデートしておきます。 空売り集計のトップページ(https://www.jpx.co.jp/markets/statistics-equities/short-selling/index.html)の上部右側にバック…

個人投資家のためのWebスクレイピング(4)〜 Pythonを使って、東証「空売り比率」を取得し、グラフ化してみよう【中】

さて、前回に続いて、東証「空売り比率」のデータを取得して、グラフ化してみましょう。 前回、東証ホームページからPDFファイルを取得しましたので、次にそれらPDFファイルからテキストを抽出してみます。 PDFファイルからのテキスト取得については、以下の…

個人投資家のためのWebスクレイピング(4)〜 Pythonを使って、東証「空売り比率」を取得し、グラフ化してみよう【上】

先日の日経新聞のマーケット欄に出ていました東証株式市場の空売り比率。これも今後の株式市場を占うのに大事な指標かと思いますので、Pythonを利用して、東証のホームページからWebスクレイピングしてみましょう。 「東証 空売り比率」で、ググってみると、…

個人投資家のためのWebスクレイピング(3) 〜 Pythonを使って、東証「外国人投資家動向」推移を描く

個人投資家のためのPythonによるWebスクレイピング第三弾です。 日本株のETFに投資している自分として気にしている指標の一つに東証が毎週公表している「外国人投資家動向」があります。時々、マーケットアナリストの方が「外国人投資家動向」推移をレポ…

個人投資家のためのWebスクレイピング(2) 〜 Pythonを使って、米10年債先物ポジション推移を描く

本日の日経新聞に「ドル、反転下落の兆し 米長期金利に低下観測 世界経済の先行き懸念 」と題する記事が出ていました。その記事中に「米10年先物の売りの勢いは鈍化(投機筋の持ち高)(出所)米商品先物取引委員会」のタイトルの図表が掲載されていましたが…

個人投資家のためのWebスクレイピング(1) 〜 Pythonで「IMM通貨先物ポジション」推移を描いてみよう

実は自分自身でETF投資を行っていますので、相場に影響のあるデータを可視化(Visualization)出来たらなぁと以前から思っておりました。 そうした中で、ドル円等の為替相場への影響を考える際にいつも話題になるのは「IMM通貨先物ポジション」。先物取引…

Jupyter Notebookをはてなブログに貼り付ける方法

普段、簡単なPythonスクリプトの実行確認やPythonの機能の確認を行うのにJupyter Notebookが便利なので良く利用しているのですが、その内容をそのままブログにアップできたらいいなぁと思って、ネットで探していたところ。こんな情報がありました。 Jupyter …

Gitの覚え書き

GitHubにJupyter Notebookを簡単にアップロードできるかと思っていたら、世の中そう簡単にはいかないものですね。 Gitというバージョン管理アプリケーションを導入しないといけないことに加えて、操作や概念が分かりにくく、非常に取っ付きにくい。 私は、ま…

Markdown記法〜チートシート

はてなブログのMarkdown記法について、纏めてみました。このMarkdown は、Atomエディタ、BoostnoteやInkdrop等のメモ帳でも利用できますが、アプリよっては多少挙動が異なるようですので、利用にあたっては注意が必要です。 ■見出し # 見出し(h1) ## 見出し(…

Django覚え書き

本記事は、Djangoを使ってWebアプリケーションを作成するに当たっての基本動作を纏めました。暫く使っていないとすぐに忘れてしまうので、自分自身の覚え書きとして記述したものです。今後、充実させていきたいと思っています。 condaを利用してDjangoの仮想…

はてな記法〜チートシート

前回、はてな記法でスクリプトをブログに記載する方法を書きましたが、今回はその他のはてな記法のうちよく使うものを簡単に纏めておきます。 ■見出し *見出し (h3相当) **小見出し (h4相当) ***小々見出し (h5相当) 見出し (h3相当) 小見出し (h4相当) 小々…

「はてな記法」でスクリプトをブログにアップしてみる

簡単なスクリプトを「はてな記法」を使って本ブログに書いてみました。 import numpy as np animals = ['dog', 'cat', 'mouse', 'lion'] num = np.arange(4) for i, animal in zip(num, animals): print(i, animal) 「はてな記法」といっても、Pythonスクリ…

はてなブログの3つの編集モード

はてなブログの編集方法は、「見たままモード」「はてな記法モード」「Markdownモード」の3つあります。 help.hatenablog.com 「見たままモード」は、フォント変更、見出し、箇条書き等に対応しているほか、さらに「HTML編集モード」にするとHTMLコード等を…

はてなブログにした理由

ブログを始めるに当たって、どのブログサービスにしようか検討したのですが、コードに色を付けたりやハイライトする等ができるサービスについて、こちらに情報がありました。 www.sejuku.net こちらの情報により「はてなブログ」か「Qiita」に絞られましたが…

Python始めました!

今後の100年ライフ時代の到来を展望すると、長く働き続けるにはスキルが必要だ!と一念発起し、昨年8月からPythonの勉強を始めました。もうすぐ1年となるこのタイミングで、これまで学んだことを備忘録的に整理しつつ、自分なりの成果物を発信していけたら…