tech_memo
SimpleHTTPServer †
jcコマンド †
- psやlsコマンドの結果をJSONに形式で出力する
VSCode †
正規表現を使った置換 †
- 基本
re.sub（正規表現, “置換する文字列”, 置換対象の文字列）
- 例（改行を含む文字列の置換）
import re
text = """\
070-1234-5678 Tokyo
080-1234-5678 Chiba
090-1234-5678 Saitama
"""
text_mod = re.sub('^[0-9]{3}-[0-9]{4}-[0-9]{4}',"***-****-****",text, flags=re.MULTILINE) # flags=re.MULTILINEを追加
print (text_mod)
- 事前にコンパイルして性能向上させる場合
import re
saleVal = re.compile('[0-9]{2}%')
text1 = "毎月5日は全品30%オフを実施中!!!"
text2 = "毎月10日は全品50%オフを実施中!!!"
text_mod1 = saleVal.sub("80%",text1)
text_mod2 = saleVal.sub("90%",text2)
print (text_mod1)
print (text_mod2)
GUI †
Tkinter †
- pythonの標準ライブラリ。
- UIがダサいということであまり人気がなく、日本語ドキュメントはそこまで多くない
wxPython †
kivy †
Pythonスクリプトを配布可能なexeファイルにする †
PyInstaller? †
bbfreeze †
- cx_Freezeよりsetup.pyの記述が少ない
cx_Freeze †
ORマッパー (dataset) †
- 参考
- インストール
pip install dataset
- 接続方法
driver://user:pass@host/database
- サンプル
import dataset
db_connect_str = 'sqlite:///C:/GitHub.Accounts.sqlite3'
db = dataset.connect(db_connect_str)
for account in db['Accounts']:
print(account)
print("id:{0},user:{1},pass:{2},mail:{3},create:{4}".format(account["Id"],account["Username"],account["Password"],account["MailAddress"],account["CreatedAt"]))
pip †
pipの更新（pip installできない場合の対処） †
- $HOME/.pip/pip.conf の作成
[global]
trusted-host = pypi.python.org
pypi.org
files.pythonhosted.org
- pip更新
curl https://bootstrap.pypa.io/get-pip.py | python3
ローカル環境にだけインストール †
プロキシ設定 †
pip install <PKG> --proxy=<PROXY_IP>:<PROXY_PORT>
OpenSSLのバージョンが古くてエラー †
Linuxで仮想環境構築 †
複数バージョンのPythonを利用(pyenv) †
- 参考 : https://ccieojisan.net/post-1337/
- pyenvのインストール
$ git clone https://github.com/pyenv/pyenv.git ~/.pyenv
- 環境変数設定
$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile
- 指定バージョンのpythonのインストール方法
$ pyenv install 3.6.1
- 利用するpythonのバージョン変更
仮想環境ごとにパッケージ管理 (virtuealenv) †
Windowsで仮想環境構築 †
複数バージョンのPythonを利用 †
仮想環境構築(pipenv) †
仮想環境構築(virtualenv) †
Cygwinで仮想環境の構築 †
複数バージョンのPythonを利用(pyenv) †
- python3.xのインストール方法
- 3系では embeddable file が配布されており、解凍して指定の場所に置くだけでも可。
仮想環境の種類(pyenv, pyenv-virtualenv, virtualenv, virtualenvewrapper, pyvenv, venv) †
pyenv, pyenv-virttualenv †
- pyenv
- 複数バージョンのpythonを利用したい場合に導入。
- コマンドで利用するバージョンを切り替えられる。作業ディレクトリごとに、利用バージョンを指定可能
- Windowsには対応していない
- pyenv-virtualenv
- pyenvのプラグイン
- virtualenvとは別物
- 同じPythonバージョンで、別々のsite-package(各バージョンで管理されるモジュール群)を管理できる
- プロジェクトごとに利用するモジュールを分けたい場合に利用
virtualenv, virtualenvwrapper †
- virtualenv
- pyenvと機能的には同じ？
- pyenvより古い（pyenvのほうが利用勝手がよい）
- virtualenvwrapper
- virtualenvのラッパーで、virtualenvの使い勝手を良くしたもの
pyvenv, venv †
- venv
- Python3.3から標準で組み込まれている
- pyenvや、virtualenvと役割は同じだが、比べると機能が不足している？
- pyvenv
- 非推奨になった。
- 中身は、venvを呼び出しているだけ
Webスクレイピング †
headlessモードを検知させない方法 †
mitmproxy (man-in-the-middle proxy) †
Selenium †
PhantomJS †
PhantomJSとは？ †
利用 †
- 参考 : http://uitspitss.hatenablog.com/entry/2016/04/15/193446
- ダウンロード : http://phantomjs.org/download.html
- 利用時にUser-AgentをChromeなどに設定しないと、スクレイピング対象のHTMLの構成が変わるので設定したほうがよい
user_agent = 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36'
# PhantomJS本体のパス
pjs_path = './phantomjs'
dcap = {
"phantomjs.page.settings.userAgent" : user_agent,
'marionette' : True # WebDriverにデフォルトのGhostDriverではなくFirefox後継のmarionetteを利用する（あまりわかってない）
}
driver = webdriver.PhantomJS(executable_path=pjs_path, desired_capabilities=dcap)
シェル等の外部プログラム実行 †
curses †
スクリーン描画など
クラス †
メンバ変数定義時の注意 †
リストの要素ごとに足し算等 †
- numpyモジュールで可能
import numpy as np
x = np.array([1, 2, 3])
y = np.array([10, 20, 30])
z = np.array([3., 4., 5.])
print x + y
# => [11 22 33]
グラフ描画 †
インストール †
- python 2.4の場合
- yumでインストール可能
[root@testserver07 ~]# yum install python-matplotlib.x86_64 --disablerepo=base
=========================================================================================================
Package Arch Version Repository Size
=========================================================================================================
Installing:
python-matplotlib x86_64 0.91.2-1.el5.rf rpmforge 7.1 M
Installing for dependencies:
python-dateutil noarch 1.2-1.el5.rf rpmforge 164 k
python-tz noarch 2006p-1.el5.rf rpmforge 667 k
Transaction Summary
=========================================================================================================
- pylabを使用する場合、numpyモジュールも必要
testuser@testserver07% sudo yum install -y python-numpy.x86_64 --disablerepo=base
=========================================================================================================
Package Arch Version Repository Size
=========================================================================================================
Installing:
python-numpy x86_64 1.0.1-1.el5.rf rpmforge 2.5 M
Installing for dependencies:
blas x86_64 3.0-37.el5 core-2 318 k
lapack x86_64 3.0-37.el5 core-2 3.5 M
Transaction Summary
=========================================================================================================
画像をファイルに落とすサンプル †
- python 2.4
#!/usr/bin/python
import matplotlib
matplotlib.use('Agg')
import pylab
pylab.title("Title")
pylab.figure(figsize=(10, 1.7))
pylab.plot( [ 1, 2, 3, 4,2,12] )
pylab.ylim(-1, 13)
pylab.grid(True)
pylab.savefig('/tmp/aaa.png')
pylab.close()
棒グラフ †
Webアプリ作成 †
Flask †
WSGI †
時刻系 †
エポックタイム取得 †
Timestamp <--> EpochTime? †
#!/usr/bin/python
import time
from datetime import datetime
def datetime_to_epoch(d):
return int(time.mktime(d.timetuple()))
def epoch_to_datetime(epoch):
return datetime(*time.localtime(epoch)[:6])
now = datetime.now()
epoch = datetime_to_epoch(now)
epoch_to_datetime(epoch)
文字列 --> 日時 †
#!/usr/bin/python
import time
from datetime import datetime
tstr = "1980-01-01 00:00:01"
tdatetime = datetime.strptime(tstr, '%Y-%m-%d %H:%M:%S')
日時⇒文字列 †
import datetime
now = datetime.datetime.now()
now.strftime("%Y/%m/%d %H:%M:%S")
日付計算（月単位） †
- 標準ライブラリ以外
- 標準ライブラリでがんばる
import time, datetime
datetime.datetime.fromtimestamp(time.mktime((2008, 13, 1, 0, 0, 0, 0, 0, 0))) # <-- 2008/13/1 を 2009/1/1のdate型で返却
>> datetime.datetime(2009, 1, 1, 0, 0)
PythonでProtocolBuffers? †
IDLのコンパイル †
- 構成
44maru@silver02% tree
.
|-- test1
| `-- Test1.proto
`-- test2
`-- Test2.proto
- コンパイル用シェル
#!/bin/bash
# need to protoc version 2.6
OUT_PATH=./output
PROTO_PATH="."
PROTO_FILES="${PROTO_PATH}/test1/Test1.proto ${PROTO_PATH}/test2/Test2.proto"
mkdir -p $OUT_PATH
protoc -I${PROTO_PATH}/test1 -I${PROTO_PATH}/test2 --python_out=${OUT_PATH} ${PROTO_FILES}
ソース例 †
- TESTDBのProtobuff格納テーブルからPBTestReq?を1件取得して表示させる
#!/usr/bin/python
import Test1_pb2
import cx_Oracle
db_user = "TESTUSER"
db_pass = db_user
db_sid = "TESTDB"
connection_url = "%s/%s@%s" % (db_user, db_pass, db_sid)
connection = cx_Oracle.connect(connection_url)
cursor = connection.cursor()
try:
pbReq = Test1_pb2.PBTestReq()
sql = "select pb_lob_data from pb_tab where rownum = 1"
for r in cursor.execute(sql):
pbReq.ParseFromString(r[0].read())
print pbReq
finally:
cursor.close()
connection.close()
- PB_INSTANCE.ParseFromString?(PB_SERIALIZE_DATA)が、JavaでいうparseFrom()にあたるが、Javaと違って戻り値はなく、生成したProtoBuff?のオブジェクトでParseすることによって、値がsetされる。
Excel 編集 †
- http://www.python-excel.org/
- sample
from xlrd import open_workbook
import sys
TABLE_SHEET_NAME = "List of sheets"
TABLE_TYPE_COL_INDEX = 0
TABLE_NAME_COL_INDEX = 1
TABLE_DESCRIPTION_COL_INDEX = 2
def open_table_sheet(excel_sheet_path):
workbook = open_workbook(excel_sheet_path)
sheet = workbook.sheet_by_name(TABLE_SHEET_NAME)
return sheet
def write_table_name_to(sheet):
for row in range(sheet.nrows):
table_type = sheet.cell(row, TABLE_TYPE_COL_INDEX).value
if table_type == "Table":
table_name = sheet.cell(row, TABLE_NAME_COL_INDEX).value
# if table_name == '44maru':
# FIXME! using xlwt
sheet.write(row, TABLE_DESCRIPTION_COL_INDEX, '44maru-machi-desu')
def main():
excel_sheet_path = sys.argv[1]
sheet = open_table_sheet(excel_sheet_path)
write_table_name_to(sheet)
main()
XlsxWriter? †
- 先述のxlwtだと、xlsフォーマットで、行数が65535までしか対応していない。（それ以上書き込もうとするとエラーになる）
- XlsxWriter?であれば、xlsxフォーマットを利用でき、かつAPIも使用しやすい
vim plug-in †
おすすめ †
jedi-vim †
- コード補完プラグイン
- python-2.6以上(RHEL6)
pyflakes-vim †
IDE †
optparse †
#!/usr/bin/python
"""
super 44maru parser script
"""
import optparse
class CLIParser:
def __init__(self):
self.parser = optparse.OptionParser()
self.parser.set_description(__doc__)
self.parser.set_usage('44maru.py [options] *.txt')
self._setup_options()
def parse_cli(self):
(options, args) = self._parse_args()
self._check_required_options_exist(options)
return (options, args)
def _parse_args(self):
return self.parser.parse_args()
def _setup_options(self):
self.parser.add_option('-n', '--44maru', help='required option. 44maru', dest='44maru')
self.parser.add_option('-c', '--christmas', help='required option. christmas', dest='christmas')
self.parser.add_option('-t', '--test', help='test option yeah', dest='test')
def _check_required_options_exist(self, opts):
mandatories = ['44maru', 'christmas']
for m in mandatories:
if not opts.__dict__[m]:
self.parser.error(m + " is required option")
exit(-1)
if __name__ == '__main__' :
parser = CLIParser()
(options, args) = parser.parse_cli()
print options
最新の20件
2023-01-26
2022-11-11
2022-03-02
2022-02-03
2021-11-18
2021-11-11
2021-10-27
2021-10-04
2021-09-30
2021-08-24
2021-04-01
2021-02-25
2020-08-13
2020-05-22
2020-04-16
2020-04-15
2020-03-23
2020-03-12
2020-02-27
今日の20件
- counter: 1492
- today: 2
- yesterday: 0
- online: 1
