各政党のフォロワーIDをデータベースに追加してみた
こんにちは鬱太郎です。今日は日本の政党のフォロワーIDをデータベースに格納してみましたので、それを記事にしたいと思います。
/followers/ids
今回はTwitterAPIの/followers/idsを使っていきたいと思います。
Get followers/ids
指定したユーザーに続くすべてのユーザーのユーザーIDのカーソル付きのコレクションを返します。 現時点では、結果は最新のものから順番に並べられますが、この注文は予告なしに変更され、一貫性の問題が発生する可能性があります。結果は5,000ユーザーIDのグループで与えられ、結果の複数の「ページ」は後続の要求でnext_cursor値を使用してナビゲートできます。詳細については、「カーソルを使用したコレクションのナビゲート」を参照してください。 このメソッドは、GET users/lookup と組み合わせて使用すると特に強力です。これは、ユーザーIDをフルユーザーオブジェクトに一括して変換できるメソッドです。
このアクセスにはレートリミットが存在します。15分に15回しかアクセスできません。
1回につき5000人のIDを取得できます。
ですので、15分に75000人のIDしか取得できませんね。
Twitter4jではTwitter#getFollowersIDsというメソッドを使います。
各政党のフォロワーIDを取得してMongoDBに格納
自民党
5000件取得 ・・・ 5000件取得 途中で75000件追加しました。 レートリミット回復のため897000[ms] 停止します。 5000件取得 ・・・ 5000件取得 4328件取得 49328件追加しました。
公明党
5000件取得 ・・・ 5000件取得 3705件取得
希望の党
5000件取得 5000件取得 607件取得
民進党
レートリミット回復のため91000[ms] 停止します。 5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 335件取得 25335件追加しました。
立憲民主党
5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 途中で25000件追加しました。 レートリミット回復のため450000[ms] 停止します。 5000件取得 ・・・ 5000件取得 途中で75000件追加しました。 レートリミット回復のため897000[ms] 停止します。 5000件取得 ・・・ 5000件取得 4896件取得 74896件追加しました。
日本維新の会
5000件取得 5000件取得 3707件取得
日本のこころ
5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 2913件取得 37913件追加しました。
自由党
5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 3244件取得
社民党
5000件取得 5000件取得 5000件取得 5000件取得 1649件取得
共産党
5000件取得 5000件取得 5000件取得 5000件取得 5000件取得 1732件取得
幸福実現党
5000件取得 1754件取得
ソースコード
レートリミットへの対処を追加しました。
まとめ
追加したフォロワーIDは
| 政党 | 件数 |
|---|---|
| 自民 | 124,328 |
| 公明 | 73,705 |
| 希望 | 10,607 |
| 民進 | 25,335 |
| 維新 | 13,707 |
| 立民 | 174,896 |
| こころ | 37,913 |
| 自由 | 28,244 |
| 社民 | 21,649 |
| 共産 | 36,732 |
| 幸福 | 6,754 |
です。プログラムで収集した時期の数ですので、今とは誤差があるかもしれません。政党に漏れがあった場合は教えてください。
終わりに
ようやくフォロワーのIDを取得できました！次はこのIDを元にユーザー情報をデータベースに追加したいと思います。
今もそのプログラムを作ってると思います。最近は特に良い記事を書けてなくてすいません。
またね('ω')ノ
