вторник, 12 мая 2015 г.

What makes Python Awesome

by Raymond Hettinger
twitter: @raymondh



PyCon 2013
A bit of awesomeness in five minutes

# Search directory tree for all duplicate files
import os, md5, pprint

hashmap = {} # content signature -> list of filenames

for path, dirs, files in os.walk('.'):
    for filename in files:
        fullname = os.path.join(path, filename)
        with open(fullname) as f:
            d = f.read()
        h = hashlib.md5(d).hexdigest()
        filelist = hashmap.setdefault(h, [])
        filelist.append(fullname)
     
pprint.pprint(hashmap)

понедельник, 19 января 2015 г.

Накипь

У всех фреймворков , все гибко все просто.
"Но бл*ть какого х*я столько ошибок и все через жопу" (c) 

понедельник, 24 ноября 2014 г.

python proxy localhost

Сегодня будет только код , сори ссылку на оргинал похерил

В консольке видно многое :)
@TODO: расширить скрипт, писать логи не только в консольку , а например в бд mongo
либо что то еще  



import socket, thread, select

__version__ = '0.1.0 Draft 1'
BUFLEN = 8192
VERSION = 'Python Proxy/'+__version__
HTTPVER = 'HTTP/1.1'

class ConnectionHandler:
    def __init__(self, connection, address, timeout):
        self.client = connection
        self.client_buffer = ''
        self.timeout = timeout
        self.method, self.path, self.protocol = self.get_base_header()
        if self.method=='CONNECT':
            self.method_CONNECT()
        elif self.method in ('OPTIONS', 'GET', 'HEAD', 'POST', 'PUT',
                             'DELETE', 'TRACE'):
            self.method_others()
        self.client.close()
        self.target.close()

    def get_base_header(self):
        while 1:
            self.client_buffer += self.client.recv(BUFLEN)
            end = self.client_buffer.find('\n')
            if end!=-1:
                break
        print '%s'%self.client_buffer[:end]#debug
        data = (self.client_buffer[:end+1]).split()
        self.client_buffer = self.client_buffer[end+1:]
        return data

    def method_CONNECT(self):
        self._connect_target(self.path)
        self.client.send(HTTPVER+' 200 Connection established\n'+
                         'Proxy-agent: %s\n\n'%VERSION)
        self.client_buffer = ''
        self._read_write()      

    def method_others(self):
        self.path = self.path[7:]
        i = self.path.find('/')
        host = self.path[:i]      
        path = self.path[i:]
        self._connect_target(host)
        self.target.send('%s %s %s\n'%(self.method, path, self.protocol)+
                         self.client_buffer)
        self.client_buffer = ''
        self._read_write()

    def _connect_target(self, host):
        i = host.find(':')
        if i!=-1:
            port = int(host[i+1:])
            host = host[:i]
        else:
            port = 80
        (soc_family, _, _, _, address) = socket.getaddrinfo(host, port)[0]
        self.target = socket.socket(soc_family)
        self.target.connect(address)

    def _read_write(self):
        time_out_max = self.timeout/3
        socs = [self.client, self.target]
        count = 0
        while 1:
            count += 1
            (recv, _, error) = select.select(socs, [], socs, 3)
            if error:
                break
            if recv:
                for in_ in recv:
                    data = in_.recv(BUFLEN)
                    if in_ is self.client:
                        out = self.target
                    else:
                        out = self.client
                    if data:
                        out.send(data)
                        count = 0
            if count == time_out_max:
                break

def start_server(host='127.0.0.1', port=8080, IPv6=False, timeout=60,
                  handler=ConnectionHandler):
    if IPv6==True:
        soc_type=socket.AF_INET6
    else:
        soc_type=socket.AF_INET
    soc = socket.socket(soc_type)
    soc.bind((host, port))
    print "Serving on %s:%d."%(host, port)#debug
    soc.listen(0)
    while 1:
        thread.start_new_thread(handler, soc.accept()+(timeout,))

if __name__ == '__main__':
    start_server()

вторник, 18 ноября 2014 г.

HMAC-SHA1

[HMAC-SHA1]$ cat test1.py
#!/usr/bin/env python

import base64
import hmac
import hashlib
import urllib
import time

domain = "localhost";
port = "";
user = "u1";
group = "g1";
timestamp = int(time.time())

query = "?user=" + user + "&group=" + group + "&timestamp=" + timestamp;
sharedKey = "qwerty";

hash = hmac.new(sharedKey, query, hashlib.sha1).digest()
b = base64.encodestring(hash)
b = b.rstrip()

print "base64 string: " + b

print "signature: " + urllib.quote_plus(b.encode('utf8'))

[HMAC-SHA1]$ ./test1.py
base64 string: nU7YmyYLQ/HZ+GYLxdpva276wVk=
signature: nU7YmyYLQ%2FHZ%2BGYLxdpva276wVk%3D

понедельник, 17 ноября 2014 г.

xpath console google chrome

Все банально ...

$x('//img')


xpath doc : http://msdn.microsoft.com/ru-ru/library/vstudio/ms256115(v=vs.100).aspx

Наслаждайтесь

ЗЫ.
Буду благодарен за ссылку на доку или же мануальчик по командам google console 

вторник, 20 сентября 2011 г.

SQLite - это си-библиотека

SQLite - это си-библиотека, которая поддерживает лёгкую СУБД, которая не требует для работы специального сервера СУБД и позволяет обращаться к базе данных, используя специальный диалект языка SQL. Любые приложения могут использовать SQLite для внутреннего хранения данных.

Чтобы использовать модуль sqlite3, необходимо сначала создать объект Connection, который представляет базу данных. Например, данные будут храниться в файле /tmp/example:


conn = sqlite3.connect('/tmp/example')


Если имя файла указано как ":memory:", будет создана база данных в оперативной памяти.

Когда есть объект Connection, его методом cursor() можно создать объект Cursor и затем вызвать его метод execute(), чтобы выполнить команду (запрос) SQL, например, чтобы создать таблицу и заполнить её данными. Изменения сохраняются методом commit() объекта Connection, а объект Cursor закрывается его методом close().

Для подстановки значений в текст запросов следует использовать специально подготовленные кортежи значений и второй параметр метода execute(), а также знаки "?" в тексте самих запросов, например:


for t in (('1', 'first', '2006-03-28'),
('2', 'second', '2007-03-28'),
):
c.execute('insert into stocks values (?,?,?)', t)


Для разбора значений, полученных в результате выполнения запроса SELECT, можно использовать цикл for, работая с объектом Cursor как с обычным iterable-объектом.

Используя некоторые методы объекта Connection, можно не создавать объекты Cursor явно, делая код более кратким.

Пример:


# -*- coding: utf-8 -*-
import codecs, sys
outf = codecs.getwriter('cp866')(sys.stdout, errors='replace')
sys.stdout = outf

import sqlite3

conn = sqlite3.connect('mydb') # создаст файл, если его нет
conn.execute("create table if not exists person(firstname, spots)") # создаст таблицу, если её нет
data = [(u'Иван', 10), (u'Марья', 20)] # данные для записи в базу данных
conn.executemany("insert into person(firstname, spots) values (?, ?)", data) # запись в базу данных
conn.commit() # сохранение изменений в базе данных
conn.close() # закрытие базы данных

conn = sqlite3.connect('mydb') # открытие базы данных
for row in conn.execute("select * from person"): # обычный запрос
print row[0], row[1]
print '==='
conn.row_factory = sqlite3.Row # создание фабрики строк
cur = conn.cursor() # создание курсора
cur.execute("select * from person")
for row in cur:
print row['firstname'], row[1]
conn.close() # закрытие базы данных



Материал взят с сайта : http://forum.script-coding.com/viewtopic.php?id=2532

среда, 14 сентября 2011 г.

работа с файлами

Мне очень понравилась данная статья .


Работа с файлами

Эта маленькая статья на простых примерах покажет, как работать с файлами ипользуя стандартную библиотеку Python. (Некоторые примеры требуют Python 2.3 и выше).
Для работы с файлами в основном применяется модуль os. Далее, для перемещения и копирования файлов мы будем использовать модуль shutil, для сравнения файлов - filecmp, для поиска по образцу - glob . А пока импортируем os.
import os
Обработка пути к файлу
os.path.join(r'c:\home', 'index.html') # соединение пути
# возвращает r'c:\home\index.html'
os.path.split(r'c:\home\index.html') # разделение пути
# возвращает (r'c:\home', 'index.html')
Как узнать, существует ли данный путь?
path = 'index.html'
if os.path.exists(path):
print path, ' exists'
Как определить, данный путь - это файл или директория?
if os.path.isfile(path):
print path, ' is file'
elif os.path.isdir(path):
print path, ' is directory'
Получаем свойства файла.
from datetime import datetime # для преобразования даты в приемлемый формат
size = os.path.getsize(path) # размер файла в байтах
ksize = size//1024 # размер в килобайтах
atime = os.path.getatime(path) # дата последнего доступа в секундах с начала эпохи
mtime = os.path.getmtime(path) # дата последней модификации в секундах с начала эпохи
print 'Size: ', ksize, ' KB'
print 'Last access date: ', datetime.fromtimestamp(atime)
print 'Last modification date: ', datetime.fromtimestamp(mtime)
Стандартные операции с файлами
import shutil
os.rename('index.html','index2.html') # переименовать
shutil.copy('index2.html','index.html') # копировать
shutil.move('index2.html', 'index3.html') # переместить
os.remove('index3.html') # удалить
Сравнение двух файлов
import filecmp
eq = filecmp.cmp('index.html', 'index3.html') # сравнить файлы
if eq:
print 'equal'
else:
print 'not equal'
Обработка всех файлов в директории
dir = 'c:\home'
names = os.listdir(dir) # список файлов и поддиректорий в данной директории
for name in names:
fullname = os.path.join(dir, name) # получаем полное имя
if os.path.isfile(fullname): # если это файл...
print fullname # делаем что-нибудь с ним
Обработка всех файлов в директории рекурсивно (включая все поддиректории)
dir = 'c:\home'
for root, dirs, files in os.walk(dir): # пройти по директории рекурсивно
for name in files:
fullname = os.path.join(root, name) # получаем полное имя файла
print fullname # делаем что-нибудь с ним
Здесь os.walk - это итератор, который проходит по директориям рекурсивно, и возвращает для каждой директории кортеж из трёх значений:
root - имя текущей директории

dirs - имена поддиректорий в текущей директории

files - имена файлов в текущей директории
Получение списка файлов, совпадающих с образцом
import glob
names = glob.glob('c:\home\*') # все файлы и поддиректории в "с:\home"
names = glob.glob('c:\home\*.txt') # только с расширением "txt"
for name in names:
if os.path.isfile(name): # если это файл (а не директория)
print name # делаем что-нибудь с ним
Вот наверно и все основные операции с файлами. А если Вам понадобится произвести какие-то другие действия над файлами, обратитесь к стандартной документации Python.