среда, 14 сентября 2011 г.

РЕШЕНИЕ ПРОБЛЕМЫ С UNICODE ПРИ ИСПОЛЬЗОВАНИИ PPRINT

Как преобразовать словарь Python в удобочитаемый вид?


Как известно, при печати через pprint, unicode строки печатаются через спецсимволы, что очень неудобно.


Например:


>>> pprint.pprint({1: 'строка'})
{1: '\xd1\x81\xd1\x82\xd1\x80\xd0\xbe\xd0\xba\xd0\xb0'}

>>> pprint.pprint({1: 'строка'.decode('utf8')})
{1: u'\u0441\u0442\u0440\u043e\u043a\u0430'}



Мне надоело с этим мерится, и я написал функцию, которая выводит объекты так же как pprint, но правильно отображает строки.



Вот её код:


import sys
import pprint

def pretty_print(object):
class decoder_stream:
def write(self, s):
if s.startswith("'") and s.endswith("'"):
s = "'%s'" % s[1:-1].decode('string_escape')
elif s.startswith("u'") and s.endswith("'"):
s = "u'%s'" % s[2:-1].decode('unicode_escape').encode('utf8')
sys.stdout.write(s)

pprint.pprint(object, decoder_stream())



Пример использования.



>>> pretty_print({1: 'строка'})
{1: 'строка'}

>>> pretty_print({1: 'строка'.decode('utf8')})
{1: u'строка'}


Принцип работы очень простой, в стандартную функцию pprint мы передаем наш decoder_stream, который преобразует все вхождения строк путем их декодирования.


усовершенствование



import sys
from pprint import PrettyPrinter

class MyPrettyPrinter(PrettyPrinter):
def format(self, *args, **kwargs):
repr, readable, recursive = PrettyPrinter.format(self, *args, **kwargs)
if repr:
if repr[0] in ('"', "'"):
repr = repr.decode('string_escape')
elif repr[0:2] in ("u'", 'u"'):
repr = repr.decode('unicode_escape').encode(sys.stdout.encoding)
return repr, readable, recursive

def pprint(obj, stream=None, indent=1, width=80, depth=None):
printer = MyPrettyPrinter(stream=stream, indent=indent, width=width, depth=depth)
printer.pprint(obj)

pprint({'здравствуй': u'мир'})
pprint({'"здравствуй"': u'"мир"'})
pprint({"'здравствуй'": u"'мир'"})


Материал взят с сайта: http://softwaremaniacs.org/forum/python/25696/


решение взято с http://habrahabr.ru/qa/6820/

import simplejson as json

def pp(obj, *args, **kwargs):
'''pprint с раскодированым выводом русских строк'''
def default(v):
try:
ret = str(v)
except:
ret = 'not json serializable'
if len(ret) > 50:
ret = ret[:50] + ' ...'
return ret
print json.dumps(obj, ensure_ascii=False, indent=4,
default=default).encode('utf-8')

сформировать словарь вида

Очень старая задача .

Я получаю списки вида

список1 = [data,data,data,data,,,,,data+n]

списко2 = [(data,data,data,data,,,,,data+n),(data,data,data,data,,,,,data+n),(data,data,data,data,,,,,data+n),....]

длинна данных из списка1 совпадают с длинной кортежа списка2

Как пример:

список1 = [12 элементов]
список2 = [(12 элементов),(12 элементов),(12 элементов),....]

Задача преобразовать его в следующий вид

'data0':
[
{ 'field_name' : 'ID', 'field_value' : 1 },
{ 'field_name' : 'ID-2', 'field_value' : 'r43eq1' },
],
'data1': [{},{}], ... 'dataN' : [{},{}]

data0 = 0 кортежу из списка2
где field_name - я получаю из списка1
field_value = data из приведенного списка2

решение №1 : спасибо за него dipsy с forum.vingrad.ru


s1 = ["q", "w", "e"]
s2 = [[1,2,3],[4,5,6]]
lmb = lambda x: 'data%d' %x
print dict((lmb(j), [{"field_name" : s1[i], "field_value": s2[j][i]}
for i in xrange(len(s1))]) for j in xrange(len(s2)))



решение №2 : мое решение которое я соответственно заменил на предыдущие .

globaList = list()
for item in range(len(list_data)):
struct = {}
lst = []
for j in range(len(list_data[item])):

if list_data[item] != None:
if splits_list_table_name[j] != None:
if list_data[item][j] != None:
lst.append({'field_name' : splits_list_table_name[j], 'field_value' : self.list_data[item][j]})
struct['data'] = lst
struct['documents'] = []

globaList.append(struct)

res = { 'columns' : columns, 'table' : globaList }

Как получить путь к папке CommonApplicationData ?

Вопрос: Как получить путь к папке CommonApplicationData ?
Ответ : Тестировалось на windows7 х64 полной комплектации



import ctypes
from ctypes import wintypes, windll
CSIDL_COMMON_APPDATA = 35
_SHGetFolderPath = windll.shell32.SHGetFolderPathW
_SHGetFolderPath.argtypes = [wintypes.HWND,
ctypes.c_int,
wintypes.HANDLE,
wintypes.DWORD, wintypes.LPCWSTR]
path_buf = wintypes.create_unicode_buffer(wintypes.MAX_PATH)
result = _SHGetFolderPath(0, CSIDL_COMMON_APPDATA, 0, 0, path_buf)
print path_buf.value


Ping server

Собственно задача стояла следующая .
Нужен скрипт который даст мне статистику по пингу некоторого набора серверов .



#!/usr/bin/env python

"""
A pure python ping implementation using raw socket.


Note that ICMP messages can only be sent from processes running as root.


Derived from ping.c distributed in Linux's netkit. That code is
copyright (c) 1989 by The Regents of the University of California.
That code is in turn derived from code written by Mike Muuss of the
US Army Ballistic Research Laboratory in December, 1983 and
placed in the public domain. They have my thanks.

Bugs are naturally mine. I'd be glad to hear about them. There are
certainly word - size dependenceies here.

Copyright (c) Matthew Dixon Cowles, .
Distributable under the terms of the GNU General Public License
version 2. Provided with no warranties of any sort.

Original Version from Matthew Dixon Cowles:
-> ftp://ftp.visi.com/users/mdc/ping.py

Rewrite by Jens Diemer:
-> http://www.python-forum.de/post-69122.html#69122

Rewrite by George Notaras:
-> http://www.g-loaded.eu/2009/10/30/python-ping/

Revision history
~~~~~~~~~~~~~~~~

November 8, 2009
----------------
Improved compatibility with GNU/Linux systems.

Fixes by:
* George Notaras -- http://www.g-loaded.eu
Reported by:
* Chris Hallman -- http://cdhallman.blogspot.com

Changes in this release:
- Re-use time.time() instead of time.clock(). The 2007 implementation
worked only under Microsoft Windows. Failed on GNU/Linux.
time.clock() behaves differently under the two OSes[1].

[1] http://docs.python.org/library/time.html#time.clock

May 30, 2007
------------
little rewrite by Jens Diemer:
- change socket asterisk import to a normal import
- replace time.time() with time.clock()
- delete "return None" (or change to "return" only)
- in checksum() rename "str" to "source_string"

November 22, 1997
-----------------
Initial hack. Doesn't do much, but rather than try to guess
what features I (or others) will want in the future, I've only
put in what I need now.

December 16, 1997
-----------------
For some reason, the checksum bytes are in the wrong order when
this is run under Solaris 2.X for SPARC but it works right under
Linux x86. Since I don't know just what's wrong, I'll swap the
bytes always and then do an htons().

December 4, 2000
----------------
Changed the struct.pack() calls to pack the checksum and ID as
unsigned. My thanks to Jerome Poincheval for the fix.


Last commit info:
~~~~~~~~~~~~~~~~~
$LastChangedDate: $
$Rev: $
$Author: $
"""


import os, sys, socket, struct, select, time

# From /usr/include/linux/icmp.h; your milage may vary.
ICMP_ECHO_REQUEST = 8 # Seems to be the same on Solaris.


def checksum(source_string):
"""
I'm not too confident that this is right but testing seems
to suggest that it gives the same answers as in_cksum in ping.c
"""
sum = 0
countTo = (len(source_string)/2)*2
count = 0
while count < countTo:
thisVal = ord(source_string[count + 1])*256 + ord(source_string[count])
sum = sum + thisVal
sum = sum & 0xffffffff # Necessary?
count = count + 2

if countTo sum = sum + ord(source_string[len(source_string) - 1])
sum = sum & 0xffffffff # Necessary?

sum = (sum >> 16) + (sum & 0xffff)
sum = sum + (sum >> 16)
answer = ~sum
answer = answer & 0xffff

# Swap bytes. Bugger me if I know why.
answer = answer >> 8 | (answer << 8 & 0xff00)

return answer


def receive_one_ping(my_socket, ID, timeout):
"""
receive the ping from the socket.
"""
timeLeft = timeout
while True:
startedSelect = time.time()
whatReady = select.select([my_socket], [], [], timeLeft)
howLongInSelect = (time.time() - startedSelect)
if whatReady[0] == []: # Timeout
return

timeReceived = time.time()
recPacket, addr = my_socket.recvfrom(1024)
icmpHeader = recPacket[20:28]
type, code, checksum, packetID, sequence = struct.unpack(
"bbHHh", icmpHeader
)
if packetID == ID:
bytesInDouble = struct.calcsize("d")
timeSent = struct.unpack("d", recPacket[28:28 + bytesInDouble])[0]
return timeReceived - timeSent

timeLeft = timeLeft - howLongInSelect
if timeLeft <= 0:
return


def send_one_ping(my_socket, dest_addr, ID):
"""
Send one ping to the given >dest_addr<.
"""
dest_addr = socket.gethostbyname(dest_addr)

# Header is type (8), code (8), checksum (16), id (16), sequence (16)
my_checksum = 0

# Make a dummy heder with a 0 checksum.
header = struct.pack("bbHHh", ICMP_ECHO_REQUEST, 0, my_checksum, ID, 1)
bytesInDouble = struct.calcsize("d")
data = (192 - bytesInDouble) * "Q"
data = struct.pack("d", time.time()) + data

# Calculate the checksum on the data and the dummy header.
my_checksum = checksum(header + data)

# Now that we have the right checksum, we put that in. It's just easier
# to make up a new header than to stuff it into the dummy.
header = struct.pack(
"bbHHh", ICMP_ECHO_REQUEST, 0, socket.htons(my_checksum), ID, 1
)
packet = header + data
my_socket.sendto(packet, (dest_addr, 1)) # Don't know about the 1


def do_one(dest_addr, timeout):
"""
Returns either the delay (in seconds) or none on timeout.
"""
icmp = socket.getprotobyname("icmp")
try:
my_socket = socket.socket(socket.AF_INET, socket.SOCK_RAW, icmp)
except socket.error, (errno, msg):
if errno == 1:
# Operation not permitted
msg = msg + (
" - Note that ICMP messages can only be sent from processes"
" running as root."
)
raise socket.error(msg)
raise # raise the original error

my_ID = os.getpid() & 0xFFFF

send_one_ping(my_socket, dest_addr, my_ID)
delay = receive_one_ping(my_socket, my_ID, timeout)

my_socket.close()
return delay

# из параметров мне был полезен последний, кол-во запросов. count = 4
def verbose_ping(dest_addr, timeout = 2, count = 4):
"""
Send >count< ping to >dest_addr< with the given >timeout< and display
the result.
"""
for i in xrange(count):
print "ping %s..." % dest_addr,
try:
delay = do_one(dest_addr, timeout)
except socket.gaierror, e:
print "failed. (socket error: '%s')" % e[1]
break

if delay == None:
print "failed. (timeout within %ssec.)" % timeout
else:
delay = delay * 1000
print "get ping in %0.4fms" % delay
print

# поменять на требующиеся ..
if __name__ == '__main__':
verbose_ping("heise.de")
verbose_ping("google.com")
verbose_ping("a-test-url-taht-is-not-available.com")
verbose_ping("192.168.1.1")



к этому коду я прикрутил еще отправку смс на свой телефон и теперь когда у меня падает сервак, я это вижу в телефоне.

-- логика была проста , для скрипта.
-- Когда я на работе , происходит постоянный мониторинг собственных серверов как пример с 10 до 21 часа . -- в это время может приходить сколько угодно много смс, что бы быстро отреагировать на сбой в работе.
-- когда я еду домой или же отдыхаю , происходит формирование лога с врменем и отправка на рабочий email /

-- я понимаю, что данный способ не является законченным .
На данный момент у него больше минусов чем плюсов, по этой причине не могу рекомендовать мой способ, и не призываю его использовать даже в обучающих целях.

-- В данной статья я хотел с вами поделиться именно скриптом который может пинговать сколько угодно много серверов и работает наиболее стабильно .

пятница, 19 августа 2011 г.

Python libs for windows

мне периодически нужны библиотеки для WINDOWS.

я нашел неплохую подборку в сети .

python. генерация случайнго числа или буквы из заданного диапазона

Возник такой вопрос: Как случайным образом показывать числа из диапазона в python?

генератор случайных чисел из диапазона

import random

print random.randint(1, 10) # выводим случайное число из диапазона от 1 до 10

print random.choice("acdf'') # выводит случайную букву из букв acdf

Пишем скрипт на Python для переименования файлов

Пишем скрипт на Python для переименования файлов

На днях мне надо было переименовать все фотографии, лежащие у меня в папке, на 1.jpg, 2.jpg и так далее. Занимаясь этим вручную можно потратить много времени. Для таких целей можно использовать готовые скрипты, но лучше и полезнее сделать самому, чем мы и займемся Писать разумеется будем на Python, поэтому для работы с файлами и каталогами нам надо будет подключить модуль "OS".

Вот сам код:




#!/usr/bin/python
import os
path = raw_input("Enter path to folder: ")
listOfFiles = os.listdir(path)
countOfFiles = len(listOfFiles)
os.chdir(path)
for i in range(0, countOfFiles):
os.rename(path+listOfFiles[i], str(i+1)+'.jpg')



материал взят с сайта: http://www.dpath.ru/articles/writing-a-python-script-for-renaming-files.html