随书练习，第五章  pandas入门1

# coding: utf-8# In[1]:from pandas import Series, DataFrame# In[2]:import pandas as pd# In[3]:import numpy as np# In[4]:obj = Series([4,7,-5,3])# In[5]:obj# In[6]:obj.values# In[7]:obj.index# In[8]:obj2 = Series([4,7,-5,3],index=['d','b','a','c'])# In[9]:obj2# In[10]:obj2.index# In[11]:obj2['a']# In[12]:obj2['d'] = 6 #给索引'd'位置赋值6# In[13]:obj2[['c','a','d']]# In[14]:obj2# In[15]:obj2[obj2 > 0]# In[16]:obj2*2# In[17]:np.exp(obj2)# In[18]:'b' in obj2 #将Series看做定长有序字典# In[19]:'e' in obj2# In[20]:sdata = {
   'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000} #字典是无序的# In[21]:obj3 = Series(sdata)# In[22]:obj3# In[23]:states = ['California','Ohio','Oregon','Texas']# In[24]:obj4 = Series(sdata, index=states)# In[25]:obj4# In[26]:pd.isnull(obj4) #用于检测缺失数据# In[27]:pd.notnull(obj4)# In[28]:obj4.isnull()# In[29]:obj3# In[30]:obj4# In[31]:obj3+obj4 #自动对齐不同索引的数据# In[32]:obj4.name = 'population'# In[33]:obj4.index.name = 'state'# In[34]:obj4# In[35]:obj.index = ['Bob','Steve','Jeff','Ryan'] #Series索引可以通过赋值的方式就地修改# In[36]:obj# In[37]:data = {
   'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}frame = DataFrame(data)# In[38]:frame# In[39]:DataFrame(data,columns=['year','state','pop']) #指定列顺序# In[40]:frame2 = DataFrame(data,columns=['year','state','pop','debt'],index=['one','two','three','four','five'])# In[41]:frame2# In[42]:frame2.columns# In[43]:frame2['state'] #列获取：字典标记方式# In[44]:frame2.year #列获取：属性方式# In[45]:frame2.loc['three'] #行获取：利用索引# In[46]:frame2['debt'] = 16.5 #通过赋值的方式修改列# In[47]:frame2# In[48]:frame2['debt'] = np.arange(5)# In[49]:frame2# In[50]:val = Series([-1.2,-1.5,-1.7],index=['two','four','five']) #将Series赋值给DataFrame的列，精确匹配索引# In[51]:frame2['debt'] = val# In[52]:frame2# In[53]:val1 = ([1,2,3,2,1]) # In[54]:frame2['debt'] = val1 #将数组赋值给DataFrame的某一列，长度必须一致# In[55]:frame2# In[56]:frame2['eastern'] = frame2.state == 'Ohio' #为不存在的列赋值可以创建一个新列# In[57]:frame2# In[58]:del frame2['eastern'] #关键字del用于删除列# In[59]:frame2.columns# In[60]:pop = {
   'Nevada':{2001:2.4,2002:2.9},'Ohio':{2000:1.5,2001:1.7,2002:3.6}} #嵌套字典# In[61]:frame3 = DataFrame(pop)# In[62]:frame3# In[63]:frame3.T# In[64]:DataFrame(pop,index=[2001,2001,2003])# In[65]:pdata = {
   'Ohio':frame3['Ohio'][:-1],'Nevada':frame3['Nevada'][:2]}# In[66]:DataFrame(pdata)# In[67]:frame3.index.name = 'year';frame3.columns.name = 'state'# In[68]:frame3# In[69]:frame3.values #values属性# In[70]:frame2.values #各列数据类型不同，选择能兼容所有的类型# In[71]:obj = Series(range(3),index=['a','b','c'])# In[72]:index = obj.index# In[73]:index# In[74]:index[1:]# In[75]:#index[1] = 'd' #索引不可修改# In[76]:index = (['x', 'y', 'z'])# In[77]:index# In[78]:index[1] = 'd'# In[79]:index# In[80]:obj.index = (['x', 'y', 'z'])  #通过赋值的方式整个可以全部改# In[81]:obj.index# In[82]:#obj.index[1] = 'd' #索引不可修改# In[83]:index = pd.Index(np.arange(3))# In[84]:obj2 = Series([1.5,-2.5,0],index=index)# In[85]:obj2.index is index# In[86]:frame3# In[87]:'Ohio' in frame3.columns# In[88]:2003 in frame3.index# In[89]:frame3.index.is_unique #index的方法和属性# In[90]:frame3.index.is_monotonic # 当各元素均大于等于前一个元素时，返回True# In[91]:frame3.index.drop([2002])# In[92]:frame3.index.insert(2,2002)# In[93]:obj = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])# In[94]:obj# In[95]:obj2 = obj.reindex(['a','b','c','d','e']) #Series的重新索引# In[96]:obj2# In[97]:obj.reindex(['a','b','c','d','e'],fill_value=0) #缺失值处理# In[98]:obj3 = Series(['blue','purple','yellow'],index=[0,2,4])# In[99]:obj3.reindex(range(6),method='ffill') #插值处理(只能按行应用)：method选项：ffill或pad向前填充；bfill或backfill向后填充# In[100]:frame = DataFrame(np.arange(9).reshape((3,3)),index=['a','c','d'],columns=['Ohio','Texas','California'])# In[101]:frame# In[102]:frame2 = frame.reindex(['a','b','c','d']) #DataFrame的重新索引，只传入一个序列，默认为行# In[103]:frame2# In[104]:states = ['Texas','Utah','California']# In[105]:frame.reindex(columns=states)# In[106]:#frame.reindex(index=['a','b','c','d'],method='ffill',columns=states) #行列不能同时重新索引，会报错，或者把method选项去掉也行# In[107]:frame.loc[['a','b','c','d'],states]# In[108]:obj = Series(np.arange(5),index=['a','b','c','d','e'])# In[109]:new_obj = obj.drop('c')# In[110]:new_obj# In[111]:obj.drop(['d','c'])# In[112]:data = DataFrame(np.arange(16).reshape((4,4)),index=['Ohio','Colorado','Utah','New York'],columns=['one','two','three','four'])# In[113]:data.drop(['Colorado','Ohio']) #默认为行# In[114]:data.drop('two',axis=1)# In[115]:data.drop(['two','four'],axis=1)# In[116]:#索引、选取、过滤# In[117]:obj = Series(np.arange(4),index=['a','b','c','d']) #以下是对Series进行索引# In[118]:obj['b'] #按索引标签# In[119]:obj[1] #按位置# In[120]:obj[2:4] #切片，按位置，末端不包含# In[121]:obj[['b','a','d']] #按索引# In[122]:obj[[1,3]]# In[123]:obj[obj < 2]# In[124]:obj['b':'c'] # 按照索引标签的切片，末端包含# In[125]:obj['b':'c'] = 5# In[126]:obj# In[127]:data = DataFrame(np.arange(16).reshape((4,4)),index=['Ohio','Colorado','Utah','New York'],columns=['one','two','three','four'])# In[128]:data #以下是对DataFrame的索引# In[129]:data['two']# In[130]:data[['three','one']] #获取列，因为选取列的操作更常见# In[131]:data[:2] #按位置索引：通过切片选取行# In[132]:data[data['three']>5] #通过布尔型数组选取行# In[133]:data < 5# In[134]:data[data<5] = 0# In[135]:data# In[136]:data.loc['Colorado',['two','three']]# In[137]:data.iloc[data.index.get_indexer(['Colorado','Utah']),[3,0,1]] ##天啊，同时选取行列，且一个为标签一个为位置#For getting multiple indexers, using .get_indexer# In[138]:data.ix[['Colorado','Utah'],[3,0,1]] # In[139]:data.iloc[2]# In[140]:data.loc[:'Utah','two'] #标签，末端包含# In[141]:data.ix[data.three > 5, :3]# In[142]:s1 = Series([7.3,-2.5,3.4,1.5],index=['a','c','d','e'])# In[143]:s2 = Series([-2.1,3.6,-1.5,4,3.1],index=['a','c','e','f','g'])# In[144]:s1# In[145]:s2# In[146]:s1+s2 #自动对齐，缺失值在算数运算中传播# In[147]:df1 = DataFrame(np.arange(9).reshape((3,3)),columns=list('bcd'),index=['Ohio','Texas','Colorado'])# In[148]:df2 = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])# In[149]:df1# In[150]:df2# In[151]:df1+df2# In[160]:df1 = DataFrame(np.arange(12).reshape((3,4)),columns=list('abcd'))# In[158]:df2 = DataFrame(np.arange(20).reshape((4,5)),columns=list('abcde'))# In[161]:df1# In[159]:df2# In[163]:df1 + df2# In[165]:df1.add(df2, fill_value=0)# In[166]:df1.reindex(columns=df2.columns,fill_value=0) #重新索引# In[167]:# add加法,sub减法,div除法,mul乘法# In[169]:arr = np.arange(12).reshape((3,4))# In[170]:arr# In[171]:arr[0]# In[173]:arr - arr[0] #广播# In[174]:frame = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])# In[175]:series = frame.iloc[0]# In[176]:frame# In[177]:series# In[178]:frame - series# In[179]:series2 = Series(range(3),index=['b','e','f'])# In[180]:frame + series2 #默认匹配列在行上传播# In[181]:series3 = frame['d']# In[182]:frame# In[183]:series3# In[184]:frame.sub(series3,axis=0) #匹配行在列上广播，传入的轴号是希望匹配的轴# In[185]:frame = DataFrame(np.random.randn(4,3),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])# In[186]:frame# In[187]:np.abs(frame) #函数应用在元素级# In[188]:f = lambda x:x.max() - x.min() #匿名函数# In[190]:frame.apply(f) #将函数应用到各行各列所形成的一维数组上# In[191]:frame.apply(f,axis=1)# In[192]:def f(x):    return Series([x.min(),x.max()],index=['min','max'])  #自定义函数，传递给apply的函数还可以返回Series# In[193]:frame.apply(f)# In[194]:format = lambda x: '%.2f'% x# In[199]:frame.applymap(format)# In[200]:frame['e'].map(format) # In[201]:#apply()是一种让函数作用于列或者行操作，applymap()是一种让函数作用于DataFrame每一个元素的操作，而map是一种让函数作用于Series每一个元素的操作# In[202]:obj = Series(range(4),index=['d','a','b','c'])# In[203]:obj.sort_index() #对索引排序# In[204]:frame = DataFrame(np.arange(8).reshape((2,4)),index=['three','one'],columns=['d','a','b','c'])# In[205]:frame.sort_index()# In[206]:frame.sort_index(axis=1) #可以对任意轴上索引进行排序# In[207]:frame.sort_index(axis=1,ascending=False) #降序# In[208]:obj = Series([4,7,-3,2])# In[212]:obj.sort_values()# In[213]:obj = Series([4,np.nan,7,np.nan,-3,2])# In[214]:obj.sort_values() #任何缺失值默认放在末尾# In[215]:frame = DataFrame({
   'b':[4,7,-3,2],'a':[0,1,0,1]})# In[216]:frame# In[218]:frame.sort_values(by='b')# In[221]:frame.sort_values(by=['a','b'])# In[222]:obj = Series([7,-5,7,4,2,0,4])# In[223]:obj.rank() #method='average'# In[224]:obj.rank(method='first')# In[225]:obj.rank(ascending=False,method='max')# In[226]:frame = DataFrame({
   'b':[4.3,7,-3,2],'a':[0,1,0,1],'c':[-2,5,8,-2.5]})# In[227]:frame# In[228]:frame.rank(axis=1)