akatak blog

プログラム初心者の50代ビジネスマンがセカンドキャリアを目指して働きながらPythonを中心に独学していましたが、昨年IT系企業に転職。新規事業開発の仕事をすることになりました。自らの覚え書きや成果物、感じたことなどを脈絡もなく書き連ねるブログです。

Python

名刺OCR API機能の実装(Google Vision API+独自AIモデル+kintoneとの連携)

本ブログの更新をすっかりご無沙汰しておりました。 昨年春にE資格を取得して、昨年4月には前の会社を早期退職しました。 フリーランスとしてデータ分析やAI案件獲得を目指していましたが、実務経験がないことが足枷となり、なかなか難しいなと感じてい…

JDLAのE資格(2021#1)に合格しました!私の勉強法などまとめました

ブログの更新も大変ご無沙汰となってしまいました。 実は昨年10月から日本ディープラーニング協会(JDLA)のE資格試験に挑戦するための認定講座を受講し始め、本年2月に開催されたE資格試験を受験しました。 そのため、この半年間は試験関連の勉強に専念、特に…

DjangoでDashとPlotlyのグラフを同時に描く

今回は、前回の「可視化フレームワークDashをDjangoで利用する」の続編です。Django上に作成したDashと同じページにplotlyで描いたグラフを追加するというものです。 plotly.js CDNを利用できるようにする まずは、base.htmlにWebページでPlotly.jsを利用で…

可視化フレームワークDashをDjangoで利用する

前回、Dashを利用して世界統計地図を描いてみましたが、これだとシングルページなんですよね。 Dash自体はマルチページにも対応してしてます。が、今後、Webアプリケーションとして機能を拡張していくことを考えたら、DjangoでDashを利用できると良いですよ…

可視化フレームワークDashで世界統計地図を描いてみた

Dashとはカナダに拠点をおくPlotly社が開発しているPythonから利用できるWebフレームワークで、様々なデータの可視化・グラフ化に利用できます。 以前紹介したPlotlyというPythonライブラリもこのDashで使えますし、Dashでは独自にグラフ化のためのコンポー…

Djangoで読書管理Webアプリを作る

ちょうど一年ほど前に、「FlaskとSQLAlchemyで読書記録Webアプリを作る」という記事を書きました。 その際に「DjangoはWebアプリケーションの作成までの決まりごとが多く、ハードルが高いため、とりあえずでいいからWebアプリケーションを簡単に作ってみたい…

PlotlyとTA-libでテクニカル分析チャートを描く

前回はPythonを利用して株価のローソク足チャートを描くのに、PlotlyとCufflinksを使いました。Cufflinksを使うと、ローソク足チャートもテクニカル分析用のチャートもすごく簡単にきれいに描けました。 それはそれで良いのですが、今後、アルゴリズムトレー…

PlotlyとCufflinksでローソク足チャートを描く

Plotlyとはデータ可視化のためのプラットフォームです。 plot.ly Pythonだけでなく、RやJavaScriptなどにも対応しています。オンラインモードだと無料アカウントを作る必要がありますが、外部公開しない設定にする場合には課金されます。ただし、オフライン…

Pythonよる線形回帰分析(2)〜線形回帰分析の留意点

線形回帰分析における留意点をまとめると、以下の通り。 (「Introduction to Statistical Learning」 と「RとPythonで学ぶ[実践的]データサイエンス&機械学習」を参考にしてまとめています。) 1. 残差の分布 (1) 正規性 statsmodelsでは、回帰モデルを作成…

Pythonによる線形回帰分析(1)〜 Statsmodelsを利用する

Pythonを利用した線形回帰分析について、基本的事項のみ記載した書籍はいろいろあるようですが、実務における課題やその課題に対する対応まで書いた書籍はないんですよね。その場合、R言語を使っているケースが多い気がします。 例えば、「RとPythonで学ぶ[…

FlaskとSQLAlchemyで読書記録Webアプリを作る(7)

これまで機能のアップデートを図ってきた読書記録Webアプリですが、最終化を図りたいと思います。 今回の主要テーマは検索機能の実装ですが、まずは、それ以外のところを改良していきます。 入力項目の追加(オススメ度・コメント) 折角データベースを作成…

FlaskとSQLAlchemyで読書記録Webアプリを作る(6)

こんにちは。早速ですが、読書記録Webアプリの機能アップを更に図っていきましょう。 今回の主要テーマはページネーション(pagination)です。日本語ではページ割りというのかもしれません。アプリが現在のままだとページの概念がないので、読書記録を登録し…

FlaskとSQLAlchemyで読書記録Webアプリを作る(5)

さて、前回までに作成しましたアプリの機能アップを図っていきましょう。 まず、著者をデータベースとして登録し、読書記録データの登録時に著者リストから選択できるようにします。 その場合、著者についても、読書記録と同様にCRUD機能を網羅しておいた方…

FlaskとSQLAlchemyで読書記録Webアプリを作る(4)

前回に続いて、読書記録Webアプリを作って行きましょう。 前回は読書記録データの作成、読み出しを行いましたので、今回は読書記録データの更新、削除とCRUD操作を網羅したいと思います。CRUDとは、Create(データの新規作成)、Read(データの読み込み)、U…

FlaskとSQLAlchemyで読書記録Webアプリを作る(3)

前回まで2回分が前置きとなってしまいました。失礼しました。今回は前置きなく、早速スクリプトを記述していきます。 読書記録Webアプリの骨組みの作成①(データベースを利用せず) まずは、データベースを使わずに、取り敢えず、読書記録一覧を表示するイ…

FlaskとSQLAlchemyで読書記録Webアプリを作る(2)

前回、読書記録Webアプリで利用するモジュールの概略をご説明しましたので、今回から具体的にWebアプリの作成に入っていきましょう。 まずは、Flaskホームページのクイックスタートに掲載されている最小規模のアプリケーション例からご紹介します。 FlaskでH…

FlaskとSQLAlchemyで読書記録Webアプリを作る(1)

先日、日経ソフトウェア(2019年3月号)を見ていたら『Flask+SQLite3でWeb-DBアプリ開発!蔵書管理データベースで基本をマスターしよう』という記事が掲載されていました。それはそれで作ってみたのですが、sqlite3に依存するコードとなっていたので、将来的…

Pythonによる不動産情報のデータ取得&分析(6)【売却物件/分析編】

前回の記事から随分時間がたってしまいました。 昨年10月以降、仕事の関係で海外出張に暫く行っていたほか、現在行っている不動産分析結果を参考にもしながら年末には遂に引越しすることになりまして、片付けから新居の準備と非常に忙しく、そうこうしている…

Pythonによる不動産情報のデータ取得&分析(5)【売却物件/データ前処理編】

akatak.hatenadiary.jp さて、前回記載したスクリプトでSUUMOさんのサイトからスクレイピングしましたデータを、分析しやすいようにきれいにしていきましょう。このデータの前処理は、データの状況にもよりますので、なかなか完全な自動化は難しいですよね。…

Pythonによる不動産情報のデータ取得&分析(4)【売却物件/Webスクレイピング編】

9月になりましたが、まだまだ、暑い日が続きますね。 Pythonによる不動産情報でデータ取得&分析については、賃貸物件編が一応終わりましたので、今回から売却物件編に進みたいと思います。 前回までの記事は、参考までにこちらにリンクを張っておきます。 …

Pythonによる不動産情報のデータ取得&分析(3)【賃貸物件/分析編】

さて、いよいよ分析にチャレンジします。 目的は、家賃の適正水準を探ることです。今後、マンション売却物件の分析も行いたいと思っていますので、賃貸価格と売買価格の比較を行い、割安割高の検証を行うことも念頭に置いています(出来るかどうかはやってみ…

Pythonによる不動産情報のデータ取得&分析(2)【賃貸物件/データ前処理編】

こんにちは。 皆さん、賃貸物件のダウンロードはうまくいきましたでしょうか。 以前はうまくいっていたのですが、最近、BeautifulSoupのhtml.parserがうまく機能していないのか、ダウンロードの度に、一定数のページでGoogleChromeの検証での表示と異なる状…

Pythonによる不動産情報のデータ取得&分析(1)【賃貸物件/Webスクレイピング編】

暑い日が続きますね。皆さんはいかがお過ごしでしょうか。 我が家では、不動産の賃貸で住み替えか?購入か?を検討しなくてはいけない局面が生じたので、何かデータを取得して分析できないかな、とネットサーフィンをしていたところ、発見! 【データで見る…