вторник, 20 сентября 2011 г.

SQLite - это си-библиотека

SQLite - это си-библиотека, которая поддерживает лёгкую СУБД, которая не требует для работы специального сервера СУБД и позволяет обращаться к базе данных, используя специальный диалект языка SQL. Любые приложения могут использовать SQLite для внутреннего хранения данных.

Чтобы использовать модуль sqlite3, необходимо сначала создать объект Connection, который представляет базу данных. Например, данные будут храниться в файле /tmp/example:


conn = sqlite3.connect('/tmp/example')


Если имя файла указано как ":memory:", будет создана база данных в оперативной памяти.

Когда есть объект Connection, его методом cursor() можно создать объект Cursor и затем вызвать его метод execute(), чтобы выполнить команду (запрос) SQL, например, чтобы создать таблицу и заполнить её данными. Изменения сохраняются методом commit() объекта Connection, а объект Cursor закрывается его методом close().

Для подстановки значений в текст запросов следует использовать специально подготовленные кортежи значений и второй параметр метода execute(), а также знаки "?" в тексте самих запросов, например:


for t in (('1', 'first', '2006-03-28'),
('2', 'second', '2007-03-28'),
):
c.execute('insert into stocks values (?,?,?)', t)


Для разбора значений, полученных в результате выполнения запроса SELECT, можно использовать цикл for, работая с объектом Cursor как с обычным iterable-объектом.

Используя некоторые методы объекта Connection, можно не создавать объекты Cursor явно, делая код более кратким.

Пример:


# -*- coding: utf-8 -*-
import codecs, sys
outf = codecs.getwriter('cp866')(sys.stdout, errors='replace')
sys.stdout = outf

import sqlite3

conn = sqlite3.connect('mydb') # создаст файл, если его нет
conn.execute("create table if not exists person(firstname, spots)") # создаст таблицу, если её нет
data = [(u'Иван', 10), (u'Марья', 20)] # данные для записи в базу данных
conn.executemany("insert into person(firstname, spots) values (?, ?)", data) # запись в базу данных
conn.commit() # сохранение изменений в базе данных
conn.close() # закрытие базы данных

conn = sqlite3.connect('mydb') # открытие базы данных
for row in conn.execute("select * from person"): # обычный запрос
print row[0], row[1]
print '==='
conn.row_factory = sqlite3.Row # создание фабрики строк
cur = conn.cursor() # создание курсора
cur.execute("select * from person")
for row in cur:
print row['firstname'], row[1]
conn.close() # закрытие базы данных



Материал взят с сайта : http://forum.script-coding.com/viewtopic.php?id=2532

среда, 14 сентября 2011 г.

работа с файлами

Мне очень понравилась данная статья .


Работа с файлами

Эта маленькая статья на простых примерах покажет, как работать с файлами ипользуя стандартную библиотеку Python. (Некоторые примеры требуют Python 2.3 и выше).
Для работы с файлами в основном применяется модуль os. Далее, для перемещения и копирования файлов мы будем использовать модуль shutil, для сравнения файлов - filecmp, для поиска по образцу - glob . А пока импортируем os.
import os
Обработка пути к файлу
os.path.join(r'c:\home', 'index.html') # соединение пути
# возвращает r'c:\home\index.html'
os.path.split(r'c:\home\index.html') # разделение пути
# возвращает (r'c:\home', 'index.html')
Как узнать, существует ли данный путь?
path = 'index.html'
if os.path.exists(path):
print path, ' exists'
Как определить, данный путь - это файл или директория?
if os.path.isfile(path):
print path, ' is file'
elif os.path.isdir(path):
print path, ' is directory'
Получаем свойства файла.
from datetime import datetime # для преобразования даты в приемлемый формат
size = os.path.getsize(path) # размер файла в байтах
ksize = size//1024 # размер в килобайтах
atime = os.path.getatime(path) # дата последнего доступа в секундах с начала эпохи
mtime = os.path.getmtime(path) # дата последней модификации в секундах с начала эпохи
print 'Size: ', ksize, ' KB'
print 'Last access date: ', datetime.fromtimestamp(atime)
print 'Last modification date: ', datetime.fromtimestamp(mtime)
Стандартные операции с файлами
import shutil
os.rename('index.html','index2.html') # переименовать
shutil.copy('index2.html','index.html') # копировать
shutil.move('index2.html', 'index3.html') # переместить
os.remove('index3.html') # удалить
Сравнение двух файлов
import filecmp
eq = filecmp.cmp('index.html', 'index3.html') # сравнить файлы
if eq:
print 'equal'
else:
print 'not equal'
Обработка всех файлов в директории
dir = 'c:\home'
names = os.listdir(dir) # список файлов и поддиректорий в данной директории
for name in names:
fullname = os.path.join(dir, name) # получаем полное имя
if os.path.isfile(fullname): # если это файл...
print fullname # делаем что-нибудь с ним
Обработка всех файлов в директории рекурсивно (включая все поддиректории)
dir = 'c:\home'
for root, dirs, files in os.walk(dir): # пройти по директории рекурсивно
for name in files:
fullname = os.path.join(root, name) # получаем полное имя файла
print fullname # делаем что-нибудь с ним
Здесь os.walk - это итератор, который проходит по директориям рекурсивно, и возвращает для каждой директории кортеж из трёх значений:
root - имя текущей директории

dirs - имена поддиректорий в текущей директории

files - имена файлов в текущей директории
Получение списка файлов, совпадающих с образцом
import glob
names = glob.glob('c:\home\*') # все файлы и поддиректории в "с:\home"
names = glob.glob('c:\home\*.txt') # только с расширением "txt"
for name in names:
if os.path.isfile(name): # если это файл (а не директория)
print name # делаем что-нибудь с ним
Вот наверно и все основные операции с файлами. А если Вам понадобится произвести какие-то другие действия над файлами, обратитесь к стандартной документации Python.

РЕШЕНИЕ ПРОБЛЕМЫ С UNICODE ПРИ ИСПОЛЬЗОВАНИИ PPRINT

Как преобразовать словарь Python в удобочитаемый вид?


Как известно, при печати через pprint, unicode строки печатаются через спецсимволы, что очень неудобно.


Например:


>>> pprint.pprint({1: 'строка'})
{1: '\xd1\x81\xd1\x82\xd1\x80\xd0\xbe\xd0\xba\xd0\xb0'}

>>> pprint.pprint({1: 'строка'.decode('utf8')})
{1: u'\u0441\u0442\u0440\u043e\u043a\u0430'}



Мне надоело с этим мерится, и я написал функцию, которая выводит объекты так же как pprint, но правильно отображает строки.



Вот её код:


import sys
import pprint

def pretty_print(object):
class decoder_stream:
def write(self, s):
if s.startswith("'") and s.endswith("'"):
s = "'%s'" % s[1:-1].decode('string_escape')
elif s.startswith("u'") and s.endswith("'"):
s = "u'%s'" % s[2:-1].decode('unicode_escape').encode('utf8')
sys.stdout.write(s)

pprint.pprint(object, decoder_stream())



Пример использования.



>>> pretty_print({1: 'строка'})
{1: 'строка'}

>>> pretty_print({1: 'строка'.decode('utf8')})
{1: u'строка'}


Принцип работы очень простой, в стандартную функцию pprint мы передаем наш decoder_stream, который преобразует все вхождения строк путем их декодирования.


усовершенствование



import sys
from pprint import PrettyPrinter

class MyPrettyPrinter(PrettyPrinter):
def format(self, *args, **kwargs):
repr, readable, recursive = PrettyPrinter.format(self, *args, **kwargs)
if repr:
if repr[0] in ('"', "'"):
repr = repr.decode('string_escape')
elif repr[0:2] in ("u'", 'u"'):
repr = repr.decode('unicode_escape').encode(sys.stdout.encoding)
return repr, readable, recursive

def pprint(obj, stream=None, indent=1, width=80, depth=None):
printer = MyPrettyPrinter(stream=stream, indent=indent, width=width, depth=depth)
printer.pprint(obj)

pprint({'здравствуй': u'мир'})
pprint({'"здравствуй"': u'"мир"'})
pprint({"'здравствуй'": u"'мир'"})


Материал взят с сайта: http://softwaremaniacs.org/forum/python/25696/


решение взято с http://habrahabr.ru/qa/6820/

import simplejson as json

def pp(obj, *args, **kwargs):
'''pprint с раскодированым выводом русских строк'''
def default(v):
try:
ret = str(v)
except:
ret = 'not json serializable'
if len(ret) > 50:
ret = ret[:50] + ' ...'
return ret
print json.dumps(obj, ensure_ascii=False, indent=4,
default=default).encode('utf-8')

сформировать словарь вида

Очень старая задача .

Я получаю списки вида

список1 = [data,data,data,data,,,,,data+n]

списко2 = [(data,data,data,data,,,,,data+n),(data,data,data,data,,,,,data+n),(data,data,data,data,,,,,data+n),....]

длинна данных из списка1 совпадают с длинной кортежа списка2

Как пример:

список1 = [12 элементов]
список2 = [(12 элементов),(12 элементов),(12 элементов),....]

Задача преобразовать его в следующий вид

'data0':
[
{ 'field_name' : 'ID', 'field_value' : 1 },
{ 'field_name' : 'ID-2', 'field_value' : 'r43eq1' },
],
'data1': [{},{}], ... 'dataN' : [{},{}]

data0 = 0 кортежу из списка2
где field_name - я получаю из списка1
field_value = data из приведенного списка2

решение №1 : спасибо за него dipsy с forum.vingrad.ru


s1 = ["q", "w", "e"]
s2 = [[1,2,3],[4,5,6]]
lmb = lambda x: 'data%d' %x
print dict((lmb(j), [{"field_name" : s1[i], "field_value": s2[j][i]}
for i in xrange(len(s1))]) for j in xrange(len(s2)))



решение №2 : мое решение которое я соответственно заменил на предыдущие .

globaList = list()
for item in range(len(list_data)):
struct = {}
lst = []
for j in range(len(list_data[item])):

if list_data[item] != None:
if splits_list_table_name[j] != None:
if list_data[item][j] != None:
lst.append({'field_name' : splits_list_table_name[j], 'field_value' : self.list_data[item][j]})
struct['data'] = lst
struct['documents'] = []

globaList.append(struct)

res = { 'columns' : columns, 'table' : globaList }

Как получить путь к папке CommonApplicationData ?

Вопрос: Как получить путь к папке CommonApplicationData ?
Ответ : Тестировалось на windows7 х64 полной комплектации



import ctypes
from ctypes import wintypes, windll
CSIDL_COMMON_APPDATA = 35
_SHGetFolderPath = windll.shell32.SHGetFolderPathW
_SHGetFolderPath.argtypes = [wintypes.HWND,
ctypes.c_int,
wintypes.HANDLE,
wintypes.DWORD, wintypes.LPCWSTR]
path_buf = wintypes.create_unicode_buffer(wintypes.MAX_PATH)
result = _SHGetFolderPath(0, CSIDL_COMMON_APPDATA, 0, 0, path_buf)
print path_buf.value


Ping server

Собственно задача стояла следующая .
Нужен скрипт который даст мне статистику по пингу некоторого набора серверов .



#!/usr/bin/env python

"""
A pure python ping implementation using raw socket.


Note that ICMP messages can only be sent from processes running as root.


Derived from ping.c distributed in Linux's netkit. That code is
copyright (c) 1989 by The Regents of the University of California.
That code is in turn derived from code written by Mike Muuss of the
US Army Ballistic Research Laboratory in December, 1983 and
placed in the public domain. They have my thanks.

Bugs are naturally mine. I'd be glad to hear about them. There are
certainly word - size dependenceies here.

Copyright (c) Matthew Dixon Cowles, .
Distributable under the terms of the GNU General Public License
version 2. Provided with no warranties of any sort.

Original Version from Matthew Dixon Cowles:
-> ftp://ftp.visi.com/users/mdc/ping.py

Rewrite by Jens Diemer:
-> http://www.python-forum.de/post-69122.html#69122

Rewrite by George Notaras:
-> http://www.g-loaded.eu/2009/10/30/python-ping/

Revision history
~~~~~~~~~~~~~~~~

November 8, 2009
----------------
Improved compatibility with GNU/Linux systems.

Fixes by:
* George Notaras -- http://www.g-loaded.eu
Reported by:
* Chris Hallman -- http://cdhallman.blogspot.com

Changes in this release:
- Re-use time.time() instead of time.clock(). The 2007 implementation
worked only under Microsoft Windows. Failed on GNU/Linux.
time.clock() behaves differently under the two OSes[1].

[1] http://docs.python.org/library/time.html#time.clock

May 30, 2007
------------
little rewrite by Jens Diemer:
- change socket asterisk import to a normal import
- replace time.time() with time.clock()
- delete "return None" (or change to "return" only)
- in checksum() rename "str" to "source_string"

November 22, 1997
-----------------
Initial hack. Doesn't do much, but rather than try to guess
what features I (or others) will want in the future, I've only
put in what I need now.

December 16, 1997
-----------------
For some reason, the checksum bytes are in the wrong order when
this is run under Solaris 2.X for SPARC but it works right under
Linux x86. Since I don't know just what's wrong, I'll swap the
bytes always and then do an htons().

December 4, 2000
----------------
Changed the struct.pack() calls to pack the checksum and ID as
unsigned. My thanks to Jerome Poincheval for the fix.


Last commit info:
~~~~~~~~~~~~~~~~~
$LastChangedDate: $
$Rev: $
$Author: $
"""


import os, sys, socket, struct, select, time

# From /usr/include/linux/icmp.h; your milage may vary.
ICMP_ECHO_REQUEST = 8 # Seems to be the same on Solaris.


def checksum(source_string):
"""
I'm not too confident that this is right but testing seems
to suggest that it gives the same answers as in_cksum in ping.c
"""
sum = 0
countTo = (len(source_string)/2)*2
count = 0
while count < countTo:
thisVal = ord(source_string[count + 1])*256 + ord(source_string[count])
sum = sum + thisVal
sum = sum & 0xffffffff # Necessary?
count = count + 2

if countTo sum = sum + ord(source_string[len(source_string) - 1])
sum = sum & 0xffffffff # Necessary?

sum = (sum >> 16) + (sum & 0xffff)
sum = sum + (sum >> 16)
answer = ~sum
answer = answer & 0xffff

# Swap bytes. Bugger me if I know why.
answer = answer >> 8 | (answer << 8 & 0xff00)

return answer


def receive_one_ping(my_socket, ID, timeout):
"""
receive the ping from the socket.
"""
timeLeft = timeout
while True:
startedSelect = time.time()
whatReady = select.select([my_socket], [], [], timeLeft)
howLongInSelect = (time.time() - startedSelect)
if whatReady[0] == []: # Timeout
return

timeReceived = time.time()
recPacket, addr = my_socket.recvfrom(1024)
icmpHeader = recPacket[20:28]
type, code, checksum, packetID, sequence = struct.unpack(
"bbHHh", icmpHeader
)
if packetID == ID:
bytesInDouble = struct.calcsize("d")
timeSent = struct.unpack("d", recPacket[28:28 + bytesInDouble])[0]
return timeReceived - timeSent

timeLeft = timeLeft - howLongInSelect
if timeLeft <= 0:
return


def send_one_ping(my_socket, dest_addr, ID):
"""
Send one ping to the given >dest_addr<.
"""
dest_addr = socket.gethostbyname(dest_addr)

# Header is type (8), code (8), checksum (16), id (16), sequence (16)
my_checksum = 0

# Make a dummy heder with a 0 checksum.
header = struct.pack("bbHHh", ICMP_ECHO_REQUEST, 0, my_checksum, ID, 1)
bytesInDouble = struct.calcsize("d")
data = (192 - bytesInDouble) * "Q"
data = struct.pack("d", time.time()) + data

# Calculate the checksum on the data and the dummy header.
my_checksum = checksum(header + data)

# Now that we have the right checksum, we put that in. It's just easier
# to make up a new header than to stuff it into the dummy.
header = struct.pack(
"bbHHh", ICMP_ECHO_REQUEST, 0, socket.htons(my_checksum), ID, 1
)
packet = header + data
my_socket.sendto(packet, (dest_addr, 1)) # Don't know about the 1


def do_one(dest_addr, timeout):
"""
Returns either the delay (in seconds) or none on timeout.
"""
icmp = socket.getprotobyname("icmp")
try:
my_socket = socket.socket(socket.AF_INET, socket.SOCK_RAW, icmp)
except socket.error, (errno, msg):
if errno == 1:
# Operation not permitted
msg = msg + (
" - Note that ICMP messages can only be sent from processes"
" running as root."
)
raise socket.error(msg)
raise # raise the original error

my_ID = os.getpid() & 0xFFFF

send_one_ping(my_socket, dest_addr, my_ID)
delay = receive_one_ping(my_socket, my_ID, timeout)

my_socket.close()
return delay

# из параметров мне был полезен последний, кол-во запросов. count = 4
def verbose_ping(dest_addr, timeout = 2, count = 4):
"""
Send >count< ping to >dest_addr< with the given >timeout< and display
the result.
"""
for i in xrange(count):
print "ping %s..." % dest_addr,
try:
delay = do_one(dest_addr, timeout)
except socket.gaierror, e:
print "failed. (socket error: '%s')" % e[1]
break

if delay == None:
print "failed. (timeout within %ssec.)" % timeout
else:
delay = delay * 1000
print "get ping in %0.4fms" % delay
print

# поменять на требующиеся ..
if __name__ == '__main__':
verbose_ping("heise.de")
verbose_ping("google.com")
verbose_ping("a-test-url-taht-is-not-available.com")
verbose_ping("192.168.1.1")



к этому коду я прикрутил еще отправку смс на свой телефон и теперь когда у меня падает сервак, я это вижу в телефоне.

-- логика была проста , для скрипта.
-- Когда я на работе , происходит постоянный мониторинг собственных серверов как пример с 10 до 21 часа . -- в это время может приходить сколько угодно много смс, что бы быстро отреагировать на сбой в работе.
-- когда я еду домой или же отдыхаю , происходит формирование лога с врменем и отправка на рабочий email /

-- я понимаю, что данный способ не является законченным .
На данный момент у него больше минусов чем плюсов, по этой причине не могу рекомендовать мой способ, и не призываю его использовать даже в обучающих целях.

-- В данной статья я хотел с вами поделиться именно скриптом который может пинговать сколько угодно много серверов и работает наиболее стабильно .