僕の世界観を変えてみる

文系男子が趣味でプログラミングを勉強していくブログです。他にも日常で起きたどうでもいいことや愚痴を書いていきたいです。座右の銘は和を以て貴しとなすです。仲良くやろうよ。

python

【python】pythonを使ってファイル名を連番に変更する

お久しぶりです。 バセドウ病になって倒れていたので更新頻度が激下がりになりました。 今回は本当に簡単で短い記事になってしまいますがきっと使う日がくる、そんなお話です。 画像を自動でダウンロードできるようになったらその画像を管理していくことにな…

requests.exceptions.MissingSchema: Invalid URLのエラーが出た

最近なにもしていないので記事が書けないよ。 暑くて暑くて体が溶けそうだ。 せっかくPC組んで機械学習がんばるぞって意気込んでいたけどYouTube視聴がとんでもなく増えただけだ。 あ、そうだ。 久しぶりにスクレイピングでもやってみっか!おらわくわくして…

【Python】ロト6に出やすい数字があるのかシミュレーションしてみた

title なにか儲け話ってないかなー 結局ボートレースの機械学習は失敗に終わったしなにか別のことをしたいなー と話していたときに職場の人が提案してきたのは ロト6 曰くロト6には法則があって4つの数字までは合わせることができるらしい(笑) そんなわけな…

【python】BeautifulSoupとSQLiteを使ってデータベースを作ってみる

SQLiteの入門として書いた記事が最近伸びてきているみたいなのでまたもやSQLiteの記事を書いてみる。 ▼【python】データベースの入門としてSQLiteを使ってみた - 僕の世界観を変えてみる 今回はBeautifulSoupを使ってスクレイピングしたデータをSQLiteでテー…

【YouTube】YouTubeの動画をダウンロードする方法その2

以前僕は”やっとYouTubeの動画が保存されている場所を見つけた!”ってツイートしたんですが、 動画が見れるリンクに飛べるものと、403でリンクに飛べないものがあることが判明しました。 違いはわからないんですがまたあとで調べていきたいと思います。 とり…

【python3】Mecabをpythonで使えるようにするまで【Mac編】

macでもmecabをインストールしてみました。 これはこれでまた手こずりましたね。 ってことでmacでの手順も書こうと思います。 mecabのインストール mecab-python3のインストール git clone でmecab-ipadic-neologdをインストールする CommandLineToolsのイン…

【python3】Mecabをpythonで使えるようにするまで【Windows10編】

なんとなくmecabやってみようかなー的な。なんとなく文章生成してみようかなー的な。そんな気分だったのでちょっと形態素解析に手を出してみました。結構ハマったのでびっくりですね。 Windows10にMeCabをインストール 環境変数にmecabを追加 mecab-ipadic-n…

【python】scikit-learnのImportErrorが出たのでAnacondaを再インストールした(泣く)

scikit-learnを久しぶりに使ってみたら動かなくなっていた。そんな経験はございませんか?私はありますう。それはつい昨日のこと。出先ではMacを使ってsklearnでいろいろやっていたので、家に帰ってから続きをやろうとwindowsでjupyter notebookを開いたので…

【ディープラーニング】文系男子がpythonとkerasを使ってMNISTをやってみた

ディープラーニングって難しいイメージがあったので手を出さなかったんですけど、なんとなくディープラーニングのフレームワーク調べてたら思ってたよりコードが少なくてあれこれって意外といけるんじゃね?って軽いノリで初めてみました。やったことは大し…

pipのupgradeしたらpip installができなくなった件について

2か月も前の話なんだけど突然pipが使えなくなった。ffmpegをインストールしようとpip install と打ち込んでみたところimportErrorがでた。 toor@toor-VirtualBox:~$ pip3 install ffmpeg-python Traceback (most recent call last): File "/usr/bin/pip3", l…

【python】データベースの入門としてSQLiteを使ってみた

今まではスクレイピングしたデータをcsvにして書き込んでいましたが、データベースもいいですよね。というか調べるとデータベースのほうがいろいろ便利そうです。そこで今回はデータベースの入門編ということでSQLiteを使ってみたので、自分なりのメモを…

【続pytube】mp4をmp3に変換する

pytubeを使ってyoutubeからコンテンツをダウンロードする方法を記事にしましたが、それの続きです。▼前回の記事 www.htmllifehack.xyzmp4のダウンロードはできましたがそれだとmp3しか対応していないデバイスだと聞けません。PCでならそのまま聞けますけどカ…

CTF初心者によるCpawCTF Lv1のWriteUp

▼CpawCTF - Main pageCpaw CTF Lv1のWriteUpを書こうかな。なんて。 Q1.[Misc] Test Problem Q6.[Crypto] Classical Cipher Q7.[Reversing] Can you execute ? fileコマンド Q8.[Misc] Can you open this file ? Q9.[Web] HTML Page Q10.[Forensics] River Q…

文系男子が初心者むけのCTF、CpawCTFをやってみた

最早男子なんて呼べる年齢でもないんですけど語呂がいいんで使ってます。さて、君はCTF(キャプチャー・ザ・フラッグ)を知っているか?僕はCTFって言ったらCODのゲームモードでそんなのあったなーって認識程度だった。今回言うCTFとはセキュリティ技術を競…

【python】pytubeを使ってYouTubeからコンテンツをダウンロードする

pythonにはyoutubeから動画や音声をダウンロードするためのライブラリが存在します。その名もpytube。github.com ってことでpython使いなら簡単にできてしまうpytubeの使い方をメモしていきます。※ダウンロードは自己責任でお願いします。 pytubeの使い方(…

文系男子がfast style transferを試してみたら思いのほか手こずった

Fast Style Transferってご存知ですか?画像を有名な画家のタッチに変換できるプログラムでtensorflowを使った機械学習をお手軽に体験できるよってものです。とは言えQiitaやブログに書かれている通りにやってもエラーが出てお手軽ってほどではなかったんで…

【python3】BeautifulSoupでhtml5lib使ってないのにAttributeErrorが発生するバグ?

Amazon APIのラッパーであるbottlenoseをLinuxで使っていたらなにやらエラーが発生しました。bottlenoseに原因があるわけではなくBeautifulSoupに問題があるようです。Error Code Traceback (most recent call last): File "Testbottle.py", line 2, in from…

【python3】bottlenoseとseleniumを使う際にハマったところ

今まではmac book airにvirtual box入れてubuntu上でpythonをいじっていたんですが、僕のmacは4GBなので、macに2GB、ubuntuに2GBで分けるとどうしても重くなってしまう。なのでmacにpython入れればいいやと思いついたわけです。なんで最初からやらなかったの…

【Python3】BeautifulSoupとRequestsを使ったスクレイピング

Pythonいじっていてあれこれどう書くんだっけ?ってことがよくありますよね。僕もそんなわけなんでググるんですけど欲しい情報がなかなか出てこなかったり、というかそこに時間を割きたくないので自分のブログをノート代わりに残そうと思います。Pythonフォ…

tweepyとtwitterAPIでPythonからtwitterを操作してみた

TwitterAPIに登録するとTwitterのアプリを作成できます。設定の画面にあるアプリ連携ってやつですね。このAPIを使うことで外部からツイートしたりタイムラインを取得したりできるわけです。外部ってのが例のごとくPythonになります。PythonにはTweepyというT…

【Python3】progressbarとtqdmがImportErrorになったのでsys.pathで導いてあげた

python3で画像収集するスクリプトを作ったわけですけどGIFをダウンロードしてみたらちょっと時間がかかったんですよ。何枚もあったからだとは思うんですけど、それだと動いてるのか止まってるのかわからないんですよね。なのでよくapt-get installとかバッチ…

文系男子がPython3で画像収集するスクリプトを作ってみた。bs4・requests編

なにを隠そう僕は今pythonにはまっている。なぜpythonなのかと言うと特に理由はない。ただプログラミング初心者でも簡単にできるって書かれていたからpythonにしてみた。仕事でもpythonは使わない。でも己のスキルアップのために勉強しているのだ!なんてね…