0
回答
Ceph osd无法正常启动
注册华为云得mate10,2.9折抢先购!>>>   

各位大神问题是这样的:2osd节点(Ceph服务器),每个节点上有12osd,共24osd,现象:有4osd无法run 手动启动osd时的日志如下。

2014-07-29 19:37:44.280929 7f4eb8962780  0 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60), process ceph-osd, pid 17334                                                                                                        
2014-07-29 19:37:44.288036 7f4eb8962780  1 filestore(/var/lib/ceph/osd/ceph-3) mount detected xfs                                                                                                                                             
2014-07-29 19:37:44.288056 7f4eb8962780  1 filestore(/var/lib/ceph/osd/ceph-3)  disabling 'filestore replica fadvise' due to known issues with fadvise(DONTNEED) on xfs                                                                       
2014-07-29 19:37:44.291015 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: FIEMAP ioctl is supported and appears to work                                                                                   
2014-07-29 19:37:44.291037 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: FIEMAP ioctl is disabled via 'filestore fiemap' config option                                                                   
2014-07-29 19:37:44.296031 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: syncfs(2) syscall fully supported (by glibc and kernel)                                                                         
2014-07-29 19:37:44.985369 7f4eb8962780  0 filestore(/var/lib/ceph/osd/ceph-3) mount: enabling WRITEAHEAD journal mode: checkpoint is not enabled                                                                                             
2014-07-29 19:37:45.003284 7f4eb8962780 -1 journal FileJournal::_open: disabling aio for non-block journal.  Use journal_force_aio to force use of aio anyway                                                                                 
2014-07-29 19:37:45.003312 7f4eb8962780  1 journal _open /var/lib/ceph/osd/ceph-3/journal fd 21: 1048576000 bytes, block size 4096 bytes, directio = 1, aio = 0                                                                               
2014-07-29 19:37:45.633265 7f4eb8962780 -1 filestore(/var/lib/ceph/osd/ceph-3) bad op 39                                                                                                                                                      
2014-07-29 19:37:45.636189 7f4eb8962780 -1 os/FileStore.cc: In function 'unsigned int FileStore::_do_transaction(ObjectStore::Transaction&, uint64_t, int, ThreadPool::TPHandle*)' thread 7f4eb8962780 time 2014-07-29 19:37:45.633306        
os/FileStore.cc: 2378: FAILED assert(0)                                                                                                                                                                                                       
                                                                                                                                                                                                                                              
 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60)                                                                                                                                                                               
 1: (FileStore::_do_transaction(ObjectStore::Transaction&, unsigned long, int, ThreadPool::TPHandle*)+0x381) [0x71ba01]                                                                                                                       
 2: (FileStore::_do_transactions(std::list<ObjectStore::Transaction*, std::allocator<ObjectStore::Transaction*> >&, unsigned long, ThreadPool::TPHandle*)+0x74) [0x722d24]                                                                    
 3: (JournalingObjectStore::journal_replay(unsigned long)+0x8a6) [0x736ee6]                                                                                                                                                                   
 4: (FileStore::mount()+0x3969) [0x708e79]                                                                                                                                                                                                    
 5: (OSD::do_convertfs(ObjectStore*)+0x1a) [0x5e8aaa]                                                                                                                                                                                         
 6: (OSD::convertfs(std::string const&, std::string const&)+0x49) [0x5e9509]                                                                                                                                                                  
 7: (main()+0x1d75) [0x5d2bf5]                                                                                                                                                                                                                
 8: (__libc_start_main()+0xed) [0x7f4eb655a76d]                                                                                                                                                                                               
 9: /usr/bin/ceph-osd() [0x5d69d9]                                                                                                                                                                                                            
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.                                                                                                                                                  
                                                                                                                                                                                                                                              
--- begin dump of recent events ---                                                                                                                                                                                                           
  -340> 2014-07-29 19:37:44.277386 7f4eb8962780  5 asok(0x20e61c0) register_command perfcounters_dump hook 0x20dd010                                                                                                                          
  -339> 2014-07-29 19:37:44.277460 7f4eb8962780  5 asok(0x20e61c0) register_command 1 hook 0x20dd010                                                                                                                                          
  -338> 2014-07-29 19:37:44.277480 7f4eb8962780  5 asok(0x20e61c0) register_command perf dump hook 0x20dd010                                                                                                                                  
  -337> 2014-07-29 19:37:44.277495 7f4eb8962780  5 asok(0x20e61c0) register_command perfcounters_schema hook 0x20dd010                                                                                                                        
  -336> 2014-07-29 19:37:44.277506 7f4eb8962780  5 asok(0x20e61c0) register_command 2 hook 0x20dd010                                                                                                                                          
  -335> 2014-07-29 19:37:44.277512 7f4eb8962780  5 asok(0x20e61c0) register_command perf schema hook 0x20dd010                                                                                                                                
  -334> 2014-07-29 19:37:44.277522 7f4eb8962780  5 asok(0x20e61c0) register_command config show hook 0x20dd010                                                                                                                                
  -333> 2014-07-29 19:37:44.277528 7f4eb8962780  5 asok(0x20e61c0) register_command config set hook 0x20dd010                                                                                                                                 
  -332> 2014-07-29 19:37:44.277538 7f4eb8962780  5 asok(0x20e61c0) register_command config get hook 0x20dd010                                                                                                                                 
  -331> 2014-07-29 19:37:44.277543 7f4eb8962780  5 asok(0x20e61c0) register_command log flush hook 0x20dd010                                                                                                                                  
  -330> 2014-07-29 19:37:44.277552 7f4eb8962780  5 asok(0x20e61c0) register_command log dump hook 0x20dd010                                                                                                                                   
  -329> 2014-07-29 19:37:44.277557 7f4eb8962780  5 asok(0x20e61c0) register_command log reopen hook 0x20dd010                                                                                                                                 
  -328> 2014-07-29 19:37:44.280929 7f4eb8962780  0 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60), process ceph-osd, pid 17334                                                                                                
  -327> 2014-07-29 19:37:44.281747 7f4eb8962780  1 accepter.accepter.bind my_inst.addr is 0.0.0.0:6801/17334 need_addr=1                                                                                                                      
  -326> 2014-07-29 19:37:44.281790 7f4eb8962780  1 accepter.accepter.bind my_inst.addr is 0.0.0.0:6802/17334 need_addr=1                                                                                                                      
  -325> 2014-07-29 19:37:44.281811 7f4eb8962780  1 accepter.accepter.bind my_inst.addr is 0.0.0.0:6803/17334 need_addr=1                                                                                                                      
  -324> 2014-07-29 19:37:44.281833 7f4eb8962780  1 accepter.accepter.bind my_inst.addr is 0.0.0.0:6804/17334 need_addr=1                                                                                                                      
  -323> 2014-07-29 19:37:44.281858 7f4eb8962780  1 accepter.accepter.bind my_inst.addr is 0.0.0.0:6805/17334 need_addr=1                                                                                                                      
  -322> 2014-07-29 19:37:44.282949 7f4eb8962780  1 finished global_init_daemonize                                                                                                                                                             
  -321> 2014-07-29 19:37:44.287363 7f4eb8962780  5 asok(0x20e61c0) init /var/run/ceph/ceph-osd.3.asok                                                                                                                                         
  -320> 2014-07-29 19:37:44.287407 7f4eb8962780  5 asok(0x20e61c0) bind_and_listen /var/run/ceph/ceph-osd.3.asok                                                                                                                              
  -319> 2014-07-29 19:37:44.287468 7f4eb8962780  5 asok(0x20e61c0) register_command 0 hook 0x20dc0b8                                                                                                                                          
  -318> 2014-07-29 19:37:44.287489 7f4eb8962780  5 asok(0x20e61c0) register_command version hook 0x20dc0b8                                                                                                                                    
  -317> 2014-07-29 19:37:44.287500 7f4eb8962780  5 asok(0x20e61c0) register_command git_version hook 0x20dc0b8                                                                                                                                
  -316> 2014-07-29 19:37:44.287513 7f4eb8962780  5 asok(0x20e61c0) register_command help hook 0x20dd0d0                                                                                                                                       
  -315> 2014-07-29 19:37:44.287524 7f4eb8962780  5 asok(0x20e61c0) register_command get_command_descriptions hook 0x20dd0c0                                                                                                                   
  -314> 2014-07-29 19:37:44.287605 7f4eb439e700  5 asok(0x20e61c0) entry start                                                                                                                                                                
  -313> 2014-07-29 19:37:44.288036 7f4eb8962780  1 filestore(/var/lib/ceph/osd/ceph-3) mount detected xfs                                                                                                                                     
  -312> 2014-07-29 19:37:44.288056 7f4eb8962780  1 filestore(/var/lib/ceph/osd/ceph-3)  disabling 'filestore replica fadvise' due to known issues with fadvise(DONTNEED) on xfs                                                               
  -311> 2014-07-29 19:37:44.291015 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: FIEMAP ioctl is supported and appears to work                                                                           
  -310> 2014-07-29 19:37:44.291037 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: FIEMAP ioctl is disabled via 'filestore fiemap' config option                                                           
  -309> 2014-07-29 19:37:44.296031 7f4eb8962780  0 genericfilestorebackend(/var/lib/ceph/osd/ceph-3) detect_features: syncfs(2) syscall fully supported (by glibc and kernel)                                                                 
  -308> 2014-07-29 19:37:44.985369 7f4eb8962780  0 filestore(/var/lib/ceph/osd/ceph-3) mount: enabling WRITEAHEAD journal mode: checkpoint is not enabled                                                                                     
  -307> 2014-07-29 19:37:45.003225 7f4eb8962780  2 journal open /var/lib/ceph/osd/ceph-3/journal fsid a5975e5f-2550-462c-b3b8-58d3b7a3cdb8 fs_op_seq 55653465                                                                                 
  -306> 2014-07-29 19:37:45.003284 7f4eb8962780 -1 journal FileJournal::_open: disabling aio for non-block journal.  Use journal_force_aio to force use of aio anyway                                                                         
  -305> 2014-07-29 19:37:45.003312 7f4eb8962780  1 journal _open /var/lib/ceph/osd/ceph-3/journal fd 21: 1048576000 bytes, block size 4096 bytes, directio = 1, aio = 0                                                                       
  -304> 2014-07-29 19:37:45.007307 7f4eb8962780  2 journal read_entry 149950464 : seq 55653466 1738842 bytes                                                                                                                                  
  -303> 2014-07-29 19:37:45.007962 7f4eb8962780  2 journal read_entry 149950464 : seq 55653466 1738842 bytes                                                                                                                                  
  -302> 2014-07-29 19:37:45.007980 7f4eb8962780  3 journal journal_replay: applying op seq 55653466                                                                                                                                           
  -301> 2014-07-29 19:37:45.015228 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653466                                                                                                                                         
  -300> 2014-07-29 19:37:45.015281 7f4eb8962780  2 journal read_entry 149970944 : seq 55653467 18522 bytes                                                                                                                                    
  -299> 2014-07-29 19:37:45.015288 7f4eb8962780  3 journal journal_replay: applying op seq 55653467                                                                                                                                           
  -298> 2014-07-29 19:37:45.021109 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653467                                                                                                                                         
  -297> 2014-07-29 19:37:45.021164 7f4eb8962780  2 journal read_entry 149991424 : seq 55653468 18532 bytes                                                                                                                                    
  -296> 2014-07-29 19:37:45.021170 7f4eb8962780  3 journal journal_replay: applying op seq 55653468                                                                                                                                           
  -295> 2014-07-29 19:37:45.027114 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653468                                                                                                                                         
  -294> 2014-07-29 19:37:45.027163 7f4eb8962780  2 journal read_entry 150011904 : seq 55653469 18532 bytes                                                                                                                                    
  -293> 2014-07-29 19:37:45.027169 7f4eb8962780  3 journal journal_replay: applying op seq 55653469                                                                                                                                           
  -292> 2014-07-29 19:37:45.033121 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653469                                                                                                                                         
  -291> 2014-07-29 19:37:45.033167 7f4eb8962780  2 journal read_entry 150032384 : seq 55653470 18532 bytes                                                                                                                                    
  -290> 2014-07-29 19:37:45.033173 7f4eb8962780  3 journal journal_replay: applying op seq 55653470                                                                                                                                           
  -289> 2014-07-29 19:37:45.039018 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653470                                                                                                                                         
  -288> 2014-07-29 19:37:45.039063 7f4eb8962780  2 journal read_entry 150052864 : seq 55653471 18532 bytes                                                                                                                                    
  -287> 2014-07-29 19:37:45.039070 7f4eb8962780  3 journal journal_replay: applying op seq 55653471                                                                                                                                           
  -286> 2014-07-29 19:37:45.044950 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653471                                                                                                                                         
  -285> 2014-07-29 19:37:45.045008 7f4eb8962780  2 journal read_entry 150089728 : seq 55653472 34916 bytes                                                                                                                                    
  -284> 2014-07-29 19:37:45.045014 7f4eb8962780  3 journal journal_replay: applying op seq 55653472                                                                                                                                           
  -283> 2014-07-29 19:37:45.050884 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653472                                                                                                                                         
  -282> 2014-07-29 19:37:45.050932 7f4eb8962780  2 journal read_entry 150110208 : seq 55653473 18532 bytes                                                                                                                                    
  -281> 2014-07-29 19:37:45.050939 7f4eb8962780  3 journal journal_replay: applying op seq 55653473                                                                                                                                           
  -280> 2014-07-29 19:37:45.056815 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653473                                                                                                                                         
  -279> 2014-07-29 19:37:45.057602 7f4eb8962780  2 journal read_entry 151855104 : seq 55653474 1738842 bytes                                                                                                                                  
  -278> 2014-07-29 19:37:45.057617 7f4eb8962780  3 journal journal_replay: applying op seq 55653474                                                                                                                                           
  -277> 2014-07-29 19:37:45.064048 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653474                                                                                                                                         
  -276> 2014-07-29 19:37:45.064214 7f4eb8962780  2 journal read_entry 151994368 : seq 55653475 133220 bytes                                                                                                                                   
  -275> 2014-07-29 19:37:45.064236 7f4eb8962780  3 journal journal_replay: applying op seq 55653475                                                                                                                                           
  -274> 2014-07-29 19:37:45.070209 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653475                                                                                                                                         
  -273> 2014-07-29 19:37:45.070266 7f4eb8962780  2 journal read_entry 152031232 : seq 55653476 34916 bytes                                                                                                                                    
  -272> 2014-07-29 19:37:45.070272 7f4eb8962780  3 journal journal_replay: applying op seq 55653476                                                                                                                                           
  -271> 2014-07-29 19:37:45.076226 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653476                                                                                                                                         
  -270> 2014-07-29 19:37:45.076268 7f4eb8962780  2 journal read_entry 152039424 : seq 55653477 6244 bytes                                                                                                                                     
  -269> 2014-07-29 19:37:45.076274 7f4eb8962780  3 journal journal_replay: applying op seq 55653477                                                                                                                                           
  -268> 2014-07-29 19:37:45.082118 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653477                                                                                                                                         
  -267> 2014-07-29 19:37:45.082169 7f4eb8962780  2 journal read_entry 152055808 : seq 55653478 14436 bytes                                                                                                                                    
  -266> 2014-07-29 19:37:45.082176 7f4eb8962780  3 journal journal_replay: applying op seq 55653478                                                                                                                                           
  -265> 2014-07-29 19:37:45.088078 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653478                                                                                                                                         
  -264> 2014-07-29 19:37:45.088124 7f4eb8962780  2 journal read_entry 152076288 : seq 55653479 18532 bytes                                                                                                                                    
  -263> 2014-07-29 19:37:45.088130 7f4eb8962780  3 journal journal_replay: applying op seq 55653479                                                                                                                                           
  -262> 2014-07-29 19:37:45.093948 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653479                                                                                                                                         
  -261> 2014-07-29 19:37:45.093994 7f4eb8962780  2 journal read_entry 152096768 : seq 55653480 18532 bytes                                                                                                                                    
  -260> 2014-07-29 19:37:45.094001 7f4eb8962780  3 journal journal_replay: applying op seq 55653480                                                                                                                                           
  -259> 2014-07-29 19:37:45.099915 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653480                                                                                                                                         
  -258> 2014-07-29 19:37:45.099960 7f4eb8962780  2 journal read_entry 152117248 : seq 55653481 18532 bytes                                                                                                                                    
  -257> 2014-07-29 19:37:45.099966 7f4eb8962780  3 journal journal_replay: applying op seq 55653481                                                                                                                                           
  -256> 2014-07-29 19:37:45.105833 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653481                                                                                                                                         
  -255> 2014-07-29 19:37:45.105878 7f4eb8962780  2 journal read_entry 152137728 : seq 55653482 18532 bytes                                                                                                                                    
  -254> 2014-07-29 19:37:45.105884 7f4eb8962780  3 journal journal_replay: applying op seq 55653482                                                                                                                                           
  -253> 2014-07-29 19:37:45.111748 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653482                                                                                                                                         
  -252> 2014-07-29 19:37:45.111792 7f4eb8962780  2 journal read_entry 152158208 : seq 55653483 18532 bytes                                                                                                                                    
  -251> 2014-07-29 19:37:45.111798 7f4eb8962780  3 journal journal_replay: applying op seq 55653483                                                                                                                                           
  -250> 2014-07-29 19:37:45.117653 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653483                                                                                                                                         
  -249> 2014-07-29 19:37:45.117713 7f4eb8962780  2 journal read_entry 152195072 : seq 55653484 34916 bytes                                                                                                                                    
  -248> 2014-07-29 19:37:45.117720 7f4eb8962780  3 journal journal_replay: applying op seq 55653484                                                                                                                                           
  -247> 2014-07-29 19:37:45.123730 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653484                                                                                                                                         
  -246> 2014-07-29 19:37:45.123786 7f4eb8962780  2 journal read_entry 152231936 : seq 55653485 34916 bytes                                                                                                                                    
  -245> 2014-07-29 19:37:45.123798 7f4eb8962780  3 journal journal_replay: applying op seq 55653485                                                                                                                                           
  -244> 2014-07-29 19:37:45.129712 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653485                                                                                                                                         
  -243> 2014-07-29 19:37:45.129766 7f4eb8962780  2 journal read_entry 152252416 : seq 55653486 18532 bytes                                                                                                                                    
  -242> 2014-07-29 19:37:45.129772 7f4eb8962780  3 journal journal_replay: applying op seq 55653486                                                                                                                                           
  -241> 2014-07-29 19:37:45.135713 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653486                                                                                                                                         
  -240> 2014-07-29 19:37:45.135784 7f4eb8962780  2 journal read_entry 152305664 : seq 55653487 51300 bytes                                                                                                                                    
  -239> 2014-07-29 19:37:45.135803 7f4eb8962780  3 journal journal_replay: applying op seq 55653487                                                                                                                                           
  -238> 2014-07-29 19:37:45.141720 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653487                                                                                                                                         
  -237> 2014-07-29 19:37:45.141769 7f4eb8962780  2 journal read_entry 152326144 : seq 55653488 18532 bytes                                                                                                                                    
  -236> 2014-07-29 19:37:45.141776 7f4eb8962780  3 journal journal_replay: applying op seq 55653488                                                                                                                                           
  -235> 2014-07-29 19:37:45.147681 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653488                                                                                                                                         
  -234> 2014-07-29 19:37:45.147727 7f4eb8962780  2 journal read_entry 152346624 : seq 55653489 18532 bytes                                                                                                                                    
  -233> 2014-07-29 19:37:45.147734 7f4eb8962780  3 journal journal_replay: applying op seq 55653489                                                                                                                                           
  -232> 2014-07-29 19:37:45.153656 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653489                                                                                                                                         
  -231> 2014-07-29 19:37:45.153702 7f4eb8962780  2 journal read_entry 152367104 : seq 55653490 18532 bytes                                                                                                                                    
  -230> 2014-07-29 19:37:45.153708 7f4eb8962780  3 journal journal_replay: applying op seq 55653490                                                                                                                                           
  -229> 2014-07-29 19:37:45.159652 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653490                                                                                                                                         
  -228> 2014-07-29 19:37:45.159692 7f4eb8962780  2 journal read_entry 152375296 : seq 55653491 6238 bytes                                                                                                                                     
  -227> 2014-07-29 19:37:45.159703 7f4eb8962780  3 journal journal_replay: applying op seq 55653491                                                                                                                                           
  -226> 2014-07-29 19:37:45.165717 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653491                                                                                                                                         
  -225> 2014-07-29 19:37:45.165761 7f4eb8962780  2 journal read_entry 152391680 : seq 55653492 14426 bytes                                                                                                                                    
  -224> 2014-07-29 19:37:45.165767 7f4eb8962780  3 journal journal_replay: applying op seq 55653492                                                                                                                                           
  -223> 2014-07-29 19:37:45.171745 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653492                                                                                                                                         
  -222> 2014-07-29 19:37:45.171784 7f4eb8962780  2 journal read_entry 152399872 : seq 55653493 6234 bytes                                                                                                                                     
  -221> 2014-07-29 19:37:45.171790 7f4eb8962780  3 journal journal_replay: applying op seq 55653493                                                                                                                                           
  -220> 2014-07-29 19:37:45.177661 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653493                                                                                                                                         
  -219> 2014-07-29 19:37:45.178623 7f4eb8962780  2 journal read_entry 153960448 : seq 55653494 1554522 bytes                                                                                                                                  
  -218> 2014-07-29 19:37:45.178656 7f4eb8962780  3 journal journal_replay: applying op seq 55653494                                                                                                                                           
  -217> 2014-07-29 19:37:45.185366 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653494                                                                                                                                         
  -216> 2014-07-29 19:37:45.185672 7f4eb8962780  2 journal read_entry 154152960 : seq 55653495 186458 bytes                                                                                                                                   
  -215> 2014-07-29 19:37:45.185687 7f4eb8962780  3 journal journal_replay: applying op seq 55653495                                                                                                                                           
  -214> 2014-07-29 19:37:45.191734 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653495                                                                                                                                         
  -213> 2014-07-29 19:37:45.191780 7f4eb8962780  2 journal read_entry 154173440 : seq 55653496 18522 bytes                                                                                                                                    
  -212> 2014-07-29 19:37:45.191787 7f4eb8962780  3 journal journal_replay: applying op seq 55653496                                                                                                                                           
  -211> 2014-07-29 19:37:45.197663 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653496                                                                                                                                         
  -210> 2014-07-29 19:37:45.197708 7f4eb8962780  2 journal read_entry 154193920 : seq 55653497 18532 bytes                                                                                                                                    
  -209> 2014-07-29 19:37:45.197714 7f4eb8962780  3 journal journal_replay: applying op seq 55653497                                                                                                                                           
  -208> 2014-07-29 19:37:45.203681 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653497                                                                                                                                         
  -207> 2014-07-29 19:37:45.203738 7f4eb8962780  2 journal read_entry 154230784 : seq 55653498 34916 bytes                                                                                                                                    
  -206> 2014-07-29 19:37:45.203750 7f4eb8962780  3 journal journal_replay: applying op seq 55653498                                                                                                                                           
  -205> 2014-07-29 19:37:45.209680 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653498                                                                                                                                         
  -204> 2014-07-29 19:37:45.209726 7f4eb8962780  2 journal read_entry 154251264 : seq 55653499 18532 bytes                                                                                                                                    
  -203> 2014-07-29 19:37:45.209732 7f4eb8962780  3 journal journal_replay: applying op seq 55653499                                                                                                                                           
  -202> 2014-07-29 19:37:45.215699 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653499                                                                                                                                         
  -201> 2014-07-29 19:37:45.215756 7f4eb8962780  2 journal read_entry 154288128 : seq 55653500 34916 bytes                                                                                                                                    
  -200> 2014-07-29 19:37:45.215768 7f4eb8962780  3 journal journal_replay: applying op seq 55653500                                                                                                                                           
  -199> 2014-07-29 19:37:45.221760 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653500                                                                                                                                         
  -198> 2014-07-29 19:37:45.221816 7f4eb8962780  2 journal read_entry 154324992 : seq 55653501 34916 bytes                                                                                                                                    
  -197> 2014-07-29 19:37:45.221824 7f4eb8962780  3 journal journal_replay: applying op seq 55653501                                                                                                                                           
  -196> 2014-07-29 19:37:45.227805 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653501                                                                                                                                         
  -195> 2014-07-29 19:37:45.227851 7f4eb8962780  2 journal read_entry 154345472 : seq 55653502 18532 bytes                                                                                                                                    
  -194> 2014-07-29 19:37:45.227858 7f4eb8962780  3 journal journal_replay: applying op seq 55653502                                                                                                                                           
  -193> 2014-07-29 19:37:45.233781 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653502                                                                                                                                         
  -192> 2014-07-29 19:37:45.233826 7f4eb8962780  2 journal read_entry 154365952 : seq 55653503 18532 bytes                                                                                                                                    
  -191> 2014-07-29 19:37:45.233832 7f4eb8962780  3 journal journal_replay: applying op seq 55653503                                                                                                                                           
  -190> 2014-07-29 19:37:45.239836 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653503                                                                                                                                         
  -189> 2014-07-29 19:37:45.239892 7f4eb8962780  2 journal read_entry 154402816 : seq 55653504 34916 bytes                                                                                                                                    
  -188> 2014-07-29 19:37:45.239903 7f4eb8962780  3 journal journal_replay: applying op seq 55653504                                                                                                                                           
  -187> 2014-07-29 19:37:45.245834 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653504                                                                                                                                         
  -186> 2014-07-29 19:37:45.245891 7f4eb8962780  2 journal read_entry 154439680 : seq 55653505 34916 bytes                                                                                                                                    
  -185> 2014-07-29 19:37:45.245898 7f4eb8962780  3 journal journal_replay: applying op seq 55653505                                                                                                                                           
  -184> 2014-07-29 19:37:45.251886 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653505                                                                                                                                         
  -183> 2014-07-29 19:37:45.251934 7f4eb8962780  2 journal read_entry 154460160 : seq 55653506 18532 bytes                                                                                                                                    
  -182> 2014-07-29 19:37:45.251940 7f4eb8962780  3 journal journal_replay: applying op seq 55653506                                                                                                                                           
  -181> 2014-07-29 19:37:45.257840 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653506                                                                                                                                         
  -180> 2014-07-29 19:37:45.257888 7f4eb8962780  2 journal read_entry 154480640 : seq 55653507 18532 bytes                                                                                                                                    
  -179> 2014-07-29 19:37:45.257895 7f4eb8962780  3 journal journal_replay: applying op seq 55653507                                                                                                                                           
  -178> 2014-07-29 19:37:45.263957 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653507                                                                                                                                         
  -177> 2014-07-29 19:37:45.264017 7f4eb8962780  2 journal read_entry 154517504 : seq 55653508 34916 bytes                                                                                                                                    
  -176> 2014-07-29 19:37:45.264028 7f4eb8962780  3 journal journal_replay: applying op seq 55653508                                                                                                                                           
  -175> 2014-07-29 19:37:45.270012 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653508                                                                                                                                         
  -174> 2014-07-29 19:37:45.270059 7f4eb8962780  2 journal read_entry 154537984 : seq 55653509 18532 bytes                                                                                                                                    
  -173> 2014-07-29 19:37:45.270066 7f4eb8962780  3 journal journal_replay: applying op seq 55653509                                                                                                                                           
  -172> 2014-07-29 19:37:45.276008 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653509                                                                                                                                         
  -171> 2014-07-29 19:37:45.278819 7f4eb8962780  2 journal read_entry 156250112 : seq 55653510 1706074 bytes                                                                                                                                  
  -170> 2014-07-29 19:37:45.278838 7f4eb8962780  3 journal journal_replay: applying op seq 55653510                                                                                                                                           
  -169> 2014-07-29 19:37:45.285390 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653510                                                                                                                                         
  -168> 2014-07-29 19:37:45.285438 7f4eb8962780  2 journal read_entry 156270592 : seq 55653511 18522 bytes                                                                                                                                    
  -167> 2014-07-29 19:37:45.285445 7f4eb8962780  3 journal journal_replay: applying op seq 55653511                                                                                                                                           
  -166> 2014-07-29 19:37:45.291330 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653511                                                                                                                                         
  -165> 2014-07-29 19:37:45.291377 7f4eb8962780  2 journal read_entry 156291072 : seq 55653512 18522 bytes                                                                                                                                    
  -164> 2014-07-29 19:37:45.291388 7f4eb8962780  3 journal journal_replay: applying op seq 55653512                                                                                                                                           
  -163> 2014-07-29 19:37:45.297258 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653512                                                                                                                                         
  -162> 2014-07-29 19:37:45.297303 7f4eb8962780  2 journal read_entry 156311552 : seq 55653513 18522 bytes                                                                                                                                    
  -161> 2014-07-29 19:37:45.297312 7f4eb8962780  3 journal journal_replay: applying op seq 55653513                                                                                                                                           
  -160> 2014-07-29 19:37:45.303192 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653513                                                                                                                                         
  -159> 2014-07-29 19:37:45.303237 7f4eb8962780  2 journal read_entry 156332032 : seq 55653514 18532 bytes                                                                                                                                    
  -158> 2014-07-29 19:37:45.303243 7f4eb8962780  3 journal journal_replay: applying op seq 55653514                                                                                                                                           
  -157> 2014-07-29 19:37:45.309162 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653514                                                                                                                                         
  -156> 2014-07-29 19:37:45.309927 7f4eb8962780  2 journal read_entry 157892608 : seq 55653515 1554522 bytes                                                                                                                                  
  -155> 2014-07-29 19:37:45.309941 7f4eb8962780  3 journal journal_replay: applying op seq 55653515                                                                                                                                           
  -154> 2014-07-29 19:37:45.316377 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653515                                                                                                                                         
  -153> 2014-07-29 19:37:45.316505 7f4eb8962780  2 journal read_entry 158085120 : seq 55653516 186458 bytes                                                                                                                                   
  -152> 2014-07-29 19:37:45.316520 7f4eb8962780  3 journal journal_replay: applying op seq 55653516                                                                                                                                           
  -151> 2014-07-29 19:37:45.322468 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653516                                                                                                                                         
  -150> 2014-07-29 19:37:45.322515 7f4eb8962780  2 journal read_entry 158105600 : seq 55653517 18522 bytes                                                                                                                                    
  -149> 2014-07-29 19:37:45.322522 7f4eb8962780  3 journal journal_replay: applying op seq 55653517                                                                                                                                           
  -148> 2014-07-29 19:37:45.328386 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653517                                                                                                                                         
  -147> 2014-07-29 19:37:45.328431 7f4eb8962780  2 journal read_entry 158126080 : seq 55653518 18532 bytes                                                                                                                                    
  -146> 2014-07-29 19:37:45.328438 7f4eb8962780  3 journal journal_replay: applying op seq 55653518                                                                                                                                           
  -145> 2014-07-29 19:37:45.334393 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653518                                                                                                                                         
  -144> 2014-07-29 19:37:45.334451 7f4eb8962780  2 journal read_entry 158162944 : seq 55653519 34916 bytes                                                                                                                                    
  -143> 2014-07-29 19:37:45.334475 7f4eb8962780  3 journal journal_replay: applying op seq 55653519                                                                                                                                           
  -142> 2014-07-29 19:37:45.340401 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653519                                                                                                                                         
  -141> 2014-07-29 19:37:45.340448 7f4eb8962780  2 journal read_entry 158183424 : seq 55653520 18532 bytes                                                                                                                                    
  -140> 2014-07-29 19:37:45.340454 7f4eb8962780  3 journal journal_replay: applying op seq 55653520                                                                                                                                           
  -139> 2014-07-29 19:37:45.346363 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653520                                                                                                                                         
  -138> 2014-07-29 19:37:45.346408 7f4eb8962780  2 journal read_entry 158203904 : seq 55653521 18532 bytes                                                                                                                                    
  -137> 2014-07-29 19:37:45.346415 7f4eb8962780  3 journal journal_replay: applying op seq 55653521                                                                                                                                           
  -136> 2014-07-29 19:37:45.352312 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653521                                                                                                                                         
  -135> 2014-07-29 19:37:45.352356 7f4eb8962780  2 journal read_entry 158224384 : seq 55653522 18532 bytes                                                                                                                                    
  -134> 2014-07-29 19:37:45.352362 7f4eb8962780  3 journal journal_replay: applying op seq 55653522                                                                                                                                           
  -133> 2014-07-29 19:37:45.358234 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653522                                                                                                                                         
  -132> 2014-07-29 19:37:45.358279 7f4eb8962780  2 journal read_entry 158244864 : seq 55653523 18532 bytes                                                                                                                                    
  -131> 2014-07-29 19:37:45.358285 7f4eb8962780  3 journal journal_replay: applying op seq 55653523                                                                                                                                           
  -130> 2014-07-29 19:37:45.364255 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653523                                                                                                                                         
  -129> 2014-07-29 19:37:45.364310 7f4eb8962780  2 journal read_entry 158281728 : seq 55653524 34916 bytes                                                                                                                                    
  -128> 2014-07-29 19:37:45.364331 7f4eb8962780  3 journal journal_replay: applying op seq 55653524                                                                                                                                           
  -127> 2014-07-29 19:37:45.370243 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653524                                                                                                                                         
  -126> 2014-07-29 19:37:45.370290 7f4eb8962780  2 journal read_entry 158302208 : seq 55653525 18532 bytes                                                                                                                                    
  -125> 2014-07-29 19:37:45.370296 7f4eb8962780  3 journal journal_replay: applying op seq 55653525                                                                                                                                           
  -124> 2014-07-29 19:37:45.376280 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653525                                                                                                                                         
  -123> 2014-07-29 19:37:45.376327 7f4eb8962780  2 journal read_entry 158322688 : seq 55653526 18532 bytes                                                                                                                                    
  -122> 2014-07-29 19:37:45.376333 7f4eb8962780  3 journal journal_replay: applying op seq 55653526                                                                                                                                           
  -121> 2014-07-29 19:37:45.382204 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653526                                                                                                                                         
  -120> 2014-07-29 19:37:45.382312 7f4eb8962780  2 journal read_entry 158482432 : seq 55653527 153684 bytes                                                                                                                                   
  -119> 2014-07-29 19:37:45.382326 7f4eb8962780  3 journal journal_replay: applying op seq 55653527                                                                                                                                           
  -118> 2014-07-29 19:37:45.388431 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653527                                                                                                                                         
  -117> 2014-07-29 19:37:45.388476 7f4eb8962780  2 journal read_entry 158502912 : seq 55653528 18532 bytes                                                                                                                                    
  -116> 2014-07-29 19:37:45.388482 7f4eb8962780  3 journal journal_replay: applying op seq 55653528                                                                                                                                           
  -115> 2014-07-29 19:37:45.394474 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653528                                                                                                                                         
  -114> 2014-07-29 19:37:45.394516 7f4eb8962780  2 journal read_entry 158515200 : seq 55653529 10334 bytes                                                                                                                                    
  -113> 2014-07-29 19:37:45.394522 7f4eb8962780  3 journal journal_replay: applying op seq 55653529                                                                                                                                           
  -112> 2014-07-29 19:37:45.400387 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653529                                                                                                                                         
  -111> 2014-07-29 19:37:45.400875 7f4eb8962780  2 journal read_entry 159506432 : seq 55653530 985182 bytes                                                                                                                                   
  -110> 2014-07-29 19:37:45.400889 7f4eb8962780  3 journal journal_replay: applying op seq 55653530                                                                                                                                           
  -109> 2014-07-29 19:37:45.407323 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653530                                                                                                                                         
  -108> 2014-07-29 19:37:45.408044 7f4eb8962780  2 journal read_entry 161067008 : seq 55653531 1554522 bytes                                                                                                                                  
  -107> 2014-07-29 19:37:45.408059 7f4eb8962780  3 journal journal_replay: applying op seq 55653531                                                                                                                                           
  -106> 2014-07-29 19:37:45.414542 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653531                                                                                                                                         
  -105> 2014-07-29 19:37:45.414664 7f4eb8962780  2 journal read_entry 161259520 : seq 55653532 186458 bytes                                                                                                                                   
  -104> 2014-07-29 19:37:45.414682 7f4eb8962780  3 journal journal_replay: applying op seq 55653532                                                                                                                                           
  -103> 2014-07-29 19:37:45.420613 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653532                                                                                                                                         
  -102> 2014-07-29 19:37:45.420660 7f4eb8962780  2 journal read_entry 161280000 : seq 55653533 18522 bytes                                                                                                                                    
  -101> 2014-07-29 19:37:45.420666 7f4eb8962780  3 journal journal_replay: applying op seq 55653533                                                                                                                                           
  -100> 2014-07-29 19:37:45.426555 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653533                                                                                                                                         
   -99> 2014-07-29 19:37:45.426601 7f4eb8962780  2 journal read_entry 161300480 : seq 55653534 18532 bytes                                                                                                                                    
   -98> 2014-07-29 19:37:45.426607 7f4eb8962780  3 journal journal_replay: applying op seq 55653534                                                                                                                                           
   -97> 2014-07-29 19:37:45.432474 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653534                                                                                                                                         
   -96> 2014-07-29 19:37:45.432520 7f4eb8962780  2 journal read_entry 161320960 : seq 55653535 18532 bytes                                                                                                                                    
   -95> 2014-07-29 19:37:45.432526 7f4eb8962780  3 journal journal_replay: applying op seq 55653535                                                                                                                                           
   -94> 2014-07-29 19:37:45.438418 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653535                                                                                                                                         
   -93> 2014-07-29 19:37:45.438464 7f4eb8962780  2 journal read_entry 161341440 : seq 55653536 18532 bytes                                                                                                                                    
   -92> 2014-07-29 19:37:45.438470 7f4eb8962780  3 journal journal_replay: applying op seq 55653536                                                                                                                                           
   -91> 2014-07-29 19:37:45.444377 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653536                                                                                                                                         
   -90> 2014-07-29 19:37:45.444423 7f4eb8962780  2 journal read_entry 161361920 : seq 55653537 18532 bytes                                                                                                                                    
   -89> 2014-07-29 19:37:45.444438 7f4eb8962780  3 journal journal_replay: applying op seq 55653537                                                                                                                                           
   -88> 2014-07-29 19:37:45.450323 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653537                                                                                                                                         
   -87> 2014-07-29 19:37:45.450368 7f4eb8962780  2 journal read_entry 161382400 : seq 55653538 18532 bytes                                                                                                                                    
   -86> 2014-07-29 19:37:45.450374 7f4eb8962780  3 journal journal_replay: applying op seq 55653538                                                                                                                                           
   -85> 2014-07-29 19:37:45.456291 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653538                                                                                                                                         
   -84> 2014-07-29 19:37:45.456355 7f4eb8962780  2 journal read_entry 161435648 : seq 55653539 51300 bytes                                                                                                                                    
   -83> 2014-07-29 19:37:45.456373 7f4eb8962780  3 journal journal_replay: applying op seq 55653539                                                                                                                                           
   -82> 2014-07-29 19:37:45.462272 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653539                                                                                                                                         
   -81> 2014-07-29 19:37:45.462319 7f4eb8962780  2 journal read_entry 161456128 : seq 55653540 18532 bytes                                                                                                                                    
   -80> 2014-07-29 19:37:45.462325 7f4eb8962780  3 journal journal_replay: applying op seq 55653540                                                                                                                                           
   -79> 2014-07-29 19:37:45.468256 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653540                                                                                                                                         
   -78> 2014-07-29 19:37:45.468314 7f4eb8962780  2 journal read_entry 161492992 : seq 55653541 34916 bytes                                                                                                                                    
   -77> 2014-07-29 19:37:45.468321 7f4eb8962780  3 journal journal_replay: applying op seq 55653541                                                                                                                                           
   -76> 2014-07-29 19:37:45.474247 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653541                                                                                                                                         
   -75> 2014-07-29 19:37:45.474305 7f4eb8962780  2 journal read_entry 161529856 : seq 55653542 34916 bytes                                                                                                                                    
   -74> 2014-07-29 19:37:45.474313 7f4eb8962780  3 journal journal_replay: applying op seq 55653542                                                                                                                                           
   -73> 2014-07-29 19:37:45.480269 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653542                                                                                                                                         
   -72> 2014-07-29 19:37:45.480316 7f4eb8962780  2 journal read_entry 161550336 : seq 55653543 18532 bytes                                                                                                                                    
   -71> 2014-07-29 19:37:45.480322 7f4eb8962780  3 journal journal_replay: applying op seq 55653543                                                                                                                                           
   -70> 2014-07-29 19:37:45.486210 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653543                                                                                                                                         
   -69> 2014-07-29 19:37:45.486255 7f4eb8962780  2 journal read_entry 161570816 : seq 55653544 18532 bytes                                                                                                                                    
   -68> 2014-07-29 19:37:45.486261 7f4eb8962780  3 journal journal_replay: applying op seq 55653544                                                                                                                                           
   -67> 2014-07-29 19:37:45.492306 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653544                                                                                                                                         
   -66> 2014-07-29 19:37:45.492355 7f4eb8962780  2 journal read_entry 161591296 : seq 55653545 18532 bytes                                                                                                                                    
   -65> 2014-07-29 19:37:45.492361 7f4eb8962780  3 journal journal_replay: applying op seq 55653545                                                                                                                                           
   -64> 2014-07-29 19:37:45.498235 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653545                                                                                                                                         
   -63> 2014-07-29 19:37:45.498294 7f4eb8962780  2 journal read_entry 161628160 : seq 55653546 34916 bytes                                                                                                                                    
   -62> 2014-07-29 19:37:45.498318 7f4eb8962780  3 journal journal_replay: applying op seq 55653546                                                                                                                                           
   -61> 2014-07-29 19:37:45.504286 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653546                                                                                                                                         
   -60> 2014-07-29 19:37:45.504342 7f4eb8962780  2 journal read_entry 161665024 : seq 55653547 34916 bytes                                                                                                                                    
   -59> 2014-07-29 19:37:45.504349 7f4eb8962780  3 journal journal_replay: applying op seq 55653547                                                                                                                                           
   -58> 2014-07-29 19:37:45.510246 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653547                                                                                                                                         
   -57> 2014-07-29 19:37:45.510302 7f4eb8962780  2 journal read_entry 161701888 : seq 55653548 34916 bytes                                                                                                                                    
   -56> 2014-07-29 19:37:45.510313 7f4eb8962780  3 journal journal_replay: applying op seq 55653548                                                                                                                                           
   -55> 2014-07-29 19:37:45.516283 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653548                                                                                                                                         
   -54> 2014-07-29 19:37:45.516330 7f4eb8962780  2 journal read_entry 161722368 : seq 55653549 18532 bytes                                                                                                                                    
   -53> 2014-07-29 19:37:45.516336 7f4eb8962780  3 journal journal_replay: applying op seq 55653549                                                                                                                                           
   -52> 2014-07-29 19:37:45.522265 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653549                                                                                                                                         
   -51> 2014-07-29 19:37:45.522311 7f4eb8962780  2 journal read_entry 161742848 : seq 55653550 18532 bytes                                                                                                                                    
   -50> 2014-07-29 19:37:45.522317 7f4eb8962780  3 journal journal_replay: applying op seq 55653550                                                                                                                                           
   -49> 2014-07-29 19:37:45.528263 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653550                                                                                                                                         
   -48> 2014-07-29 19:37:45.529068 7f4eb8962780  2 journal read_entry 163487744 : seq 55653551 1738842 bytes                                                                                                                                  
   -47> 2014-07-29 19:37:45.529085 7f4eb8962780  3 journal journal_replay: applying op seq 55653551                                                                                                                                           
   -46> 2014-07-29 19:37:45.535562 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653551                                                                                                                                         
   -45> 2014-07-29 19:37:45.535627 7f4eb8962780  2 journal read_entry 163508224 : seq 55653552 18522 bytes                                                                                                                                    
   -44> 2014-07-29 19:37:45.535634 7f4eb8962780  3 journal journal_replay: applying op seq 55653552                                                                                                                                           
   -43> 2014-07-29 19:37:45.541523 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653552                                                                                                                                         
   -42> 2014-07-29 19:37:45.541569 7f4eb8962780  2 journal read_entry 163528704 : seq 55653553 18522 bytes                                                                                                                                    
   -41> 2014-07-29 19:37:45.541575 7f4eb8962780  3 journal journal_replay: applying op seq 55653553                                                                                                                                           
   -40> 2014-07-29 19:37:45.547448 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653553                                                                                                                                         
   -39> 2014-07-29 19:37:45.547503 7f4eb8962780  2 journal read_entry 163565568 : seq 55653554 34916 bytes                                                                                                                                    
   -38> 2014-07-29 19:37:45.547515 7f4eb8962780  3 journal journal_replay: applying op seq 55653554                                                                                                                                           
   -37> 2014-07-29 19:37:45.553469 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653554                                                                                                                                         
   -36> 2014-07-29 19:37:45.553510 7f4eb8962780  2 journal read_entry 163573760 : seq 55653555 6244 bytes                                                                                                                                     
   -35> 2014-07-29 19:37:45.553516 7f4eb8962780  3 journal journal_replay: applying op seq 55653555                                                                                                                                           
   -34> 2014-07-29 19:37:45.559388 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653555                                                                                                                                         
   -33> 2014-07-29 19:37:45.559432 7f4eb8962780  2 journal read_entry 163590144 : seq 55653556 14436 bytes                                                                                                                                    
   -32> 2014-07-29 19:37:45.559438 7f4eb8962780  3 journal journal_replay: applying op seq 55653556                                                                                                                                           
   -31> 2014-07-29 19:37:45.565341 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653556                                                                                                                                         
   -30> 2014-07-29 19:37:45.565397 7f4eb8962780  2 journal read_entry 163627008 : seq 55653557 34916 bytes                                                                                                                                    
   -29> 2014-07-29 19:37:45.565421 7f4eb8962780  3 journal journal_replay: applying op seq 55653557                                                                                                                                           
   -28> 2014-07-29 19:37:45.571338 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653557                                                                                                                                         
   -27> 2014-07-29 19:37:45.571385 7f4eb8962780  2 journal read_entry 163647488 : seq 55653558 18532 bytes                                                                                                                                    
   -26> 2014-07-29 19:37:45.571391 7f4eb8962780  3 journal journal_replay: applying op seq 55653558                                                                                                                                           
   -25> 2014-07-29 19:37:45.577272 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653558                                                                                                                                         
   -24> 2014-07-29 19:37:45.577318 7f4eb8962780  2 journal read_entry 163667968 : seq 55653559 18532 bytes                                                                                                                                    
   -23> 2014-07-29 19:37:45.577324 7f4eb8962780  3 journal journal_replay: applying op seq 55653559                                                                                                                                           
   -22> 2014-07-29 19:37:45.583221 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653559                                                                                                                                         
   -21> 2014-07-29 19:37:45.583266 7f4eb8962780  2 journal read_entry 163688448 : seq 55653560 18532 bytes                                                                                                                                    
   -20> 2014-07-29 19:37:45.583272 7f4eb8962780  3 journal journal_replay: applying op seq 55653560                                                                                                                                           
   -19> 2014-07-29 19:37:45.589155 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653560                                                                                                                                         
   -18> 2014-07-29 19:37:45.589222 7f4eb8962780  2 journal read_entry 163741696 : seq 55653561 51300 bytes                                                                                                                                    
   -17> 2014-07-29 19:37:45.589234 7f4eb8962780  3 journal journal_replay: applying op seq 55653561                                                                                                                                           
   -16> 2014-07-29 19:37:45.595144 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653561                                                                                                                                         
   -15> 2014-07-29 19:37:45.595191 7f4eb8962780  2 journal read_entry 163762176 : seq 55653562 18532 bytes                                                                                                                                    
   -14> 2014-07-29 19:37:45.595197 7f4eb8962780  3 journal journal_replay: applying op seq 55653562                                                                                                                                           
   -13> 2014-07-29 19:37:45.601100 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653562                                                                                                                                         
   -12> 2014-07-29 19:37:45.601146 7f4eb8962780  2 journal read_entry 163782656 : seq 55653563 18532 bytes                                                                                                                                    
   -11> 2014-07-29 19:37:45.601152 7f4eb8962780  3 journal journal_replay: applying op seq 55653563                                                                                                                                           
   -10> 2014-07-29 19:37:45.607021 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653563                                                                                                                                         
    -9> 2014-07-29 19:37:45.607069 7f4eb8962780  2 journal read_entry 163803136 : seq 55653564 18532 bytes                                                                                                                                    
    -8> 2014-07-29 19:37:45.607076 7f4eb8962780  3 journal journal_replay: applying op seq 55653564                                                                                                                                           
    -7> 2014-07-29 19:37:45.613003 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653564                                                                                                                                         
    -6> 2014-07-29 19:37:45.617120 7f4eb8962780  2 journal read_entry 168005632 : seq 55653565 4196452 bytes                                                                                                                                  
    -5> 2014-07-29 19:37:45.617139 7f4eb8962780  3 journal journal_replay: applying op seq 55653565                                                                                                                                           
    -4> 2014-07-29 19:37:45.625764 7f4eb8962780  3 journal journal_replay: r = 0, op_seq now 55653565                                                                                                                                         
    -3> 2014-07-29 19:37:45.627872 7f4eb8962780  2 journal read_entry 172208128 : seq 55653566 4197278 bytes                                                                                                                                  
    -2> 2014-07-29 19:37:45.627889 7f4eb8962780  3 journal journal_replay: applying op seq 55653566                                                                                                                                           
    -1> 2014-07-29 19:37:45.633265 7f4eb8962780 -1 filestore(/var/lib/ceph/osd/ceph-3) bad op 39                                                                                                                                              
     0> 2014-07-29 19:37:45.636189 7f4eb8962780 -1 os/FileStore.cc: In function 'unsigned int FileStore::_do_transaction(ObjectStore::Transaction&, uint64_t, int, ThreadPool::TPHandle*)' thread 7f4eb8962780 time 2014-07-29 19:37:45.633306
os/FileStore.cc: 2378: FAILED assert(0)                                                                                                                                                                                                       
                                                                                                                                                                                                                                              
 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60)                                                                                                                                                                               
 1: (FileStore::_do_transaction(ObjectStore::Transaction&, unsigned long, int, ThreadPool::TPHandle*)+0x381) [0x71ba01]                                                                                                                       
 2: (FileStore::_do_transactions(std::list<ObjectStore::Transaction*, std::allocator<ObjectStore::Transaction*> >&, unsigned long, ThreadPool::TPHandle*)+0x74) [0x722d24]                                                                    
 3: (JournalingObjectStore::journal_replay(unsigned long)+0x8a6) [0x736ee6]                                                                                                                                                                   
 4: (FileStore::mount()+0x3969) [0x708e79]                                                                                                                                                                                                    
 5: (OSD::do_convertfs(ObjectStore*)+0x1a) [0x5e8aaa]                                                                                                                                                                                         
 6: (OSD::convertfs(std::string const&, std::string const&)+0x49) [0x5e9509]                                                                                                                                                                  
 7: (main()+0x1d75) [0x5d2bf5]                                                                                                                                                                                                                
 8: (__libc_start_main()+0xed) [0x7f4eb655a76d]                                                                                                                                                                                               
 9: /usr/bin/ceph-osd() [0x5d69d9]                                                                                                                                                                                                            
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.                                                                                                                                                  
                                                                                                                                                                                                                                              
--- logging levels ---                                                                                                                                                                                                                        
   0/ 5 none                                                                                                                                                                                                                                  
   0/ 1 lockdep                                                                                                                                                                                                                               
   0/ 1 context                                                                                                                                                                                                                               
   1/ 1 crush                                                                                                                                                                                                                                 
   1/ 5 mds                                                                                                                                                                                                                                   
   1/ 5 mds_balancer                                                                                                                                                                                                                          
   1/ 5 mds_locker                                                                                                                                                                                                                            
   1/ 5 mds_log                                                                                                                                                                                                                               
   1/ 5 mds_log_expire                                                                                                                                                                                                                        
   1/ 5 mds_migrator                                                                                                                                                                                                                          
   0/ 1 buffer                                                                                                                                                                                                                                
   0/ 1 timer                                                                                                                                                                                                                                 
   0/ 1 filer                                                                                                                                                                                                                                 
   0/ 1 striper                                                                                                                                                                                                                               
   0/ 1 objecter                                                                                                                                                                                                                              
   0/ 5 rados                                                                                                                                                                                                                                 
   0/ 5 rbd                                                                                                                                                                                                                                   
   0/ 5 journaler                                                                                                                                                                                                                             
   0/ 5 objectcacher                                                                                                                                                                                                                          
   0/ 5 client                                                                                                                                                                                                                                
  20/20 osd                                                                                                                                                                                                                                   
   0/ 5 optracker                                                                                                                                                                                                                             
   0/ 5 objclass                                                                                                                                                                                                                              
   1/ 3 filestore                                                                                                                                                                                                                             
   1/ 3 journal                                                                                                                                                                                                                               
   0/ 5 ms                                                                                                                                                                                                                                    
   1/ 5 mon                                                                                                                                                                                                                                   
   0/10 monc                                                                                                                                                                                                                                  
   1/ 5 paxos                                                                                                                                                                                                                                 
   0/ 5 tp                                                                                                                                                                                                                                    
   1/ 5 auth                                                                                                                                                                                                                                  
   1/ 5 crypto                                                                                                                                                                                                                                
   1/ 1 finisher                                                                                                                                                                                                                              
   1/ 5 heartbeatmap                                                                                                                                                                                                                          
   1/ 5 perfcounter                                                                                                                                                                                                                           
   1/ 5 rgw                                                                                                                                                                                                                                   
   1/ 5 javaclient                                                                                                                                                                                                                            
   1/ 5 asok                                                                                                                                                                                                                                  
   1/ 1 throttle                                                                                                                                                                                                                              
  -2/-2 (syslog threshold)                                                                                                                                                                                                                    
  -1/-1 (stderr threshold)                                                                                                                                                                                                                    
  max_recent     10000                                                                                                                                                                                                                        
  max_new         1000                                                                                                                                                                                                                        
  log_file /var/log/ceph/ceph-osd.3.log                                                                                                                                                                                                       
--- end dump of recent events ---                                                                                                                                                                                                             
2014-07-29 19:37:45.646707 7f4eb8962780 -1 *** Caught signal (Aborted) **                                                                                                                                                                     
 in thread 7f4eb8962780                                                                                                                                                                                                                       
                                                                                                                                                                                                                                              
 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60)                                                                                                                                                                               
 1: /usr/bin/ceph-osd() [0x8843da]                                                                                                                                                                                                            
 2: (()+0xfcb0) [0x7f4eb7b91cb0]                                                                                                                                                                                                              
 3: (gsignal()+0x35) [0x7f4eb656f425]                                                                                                                                                                                                         
 4: (abort()+0x17b) [0x7f4eb6572b8b]                                                                                                                                                                                                          
 5: (__gnu_cxx::__verbose_terminate_handler()+0x11d) [0x7f4eb6ec169d]                                                                                                                                                                         
 6: (()+0xb5846) [0x7f4eb6ebf846]                                                                                                                                                                                                             
 7: (()+0xb5873) [0x7f4eb6ebf873]                                                                                                                                                                                                             
 8: (()+0xb596e) [0x7f4eb6ebf96e]                                                                                                                                                                                                             
 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x1df) [0x949e2f]                                                                                                                                                   
 10: (FileStore::_do_transaction(ObjectStore::Transaction&, unsigned long, int, ThreadPool::TPHandle*)+0x381) [0x71ba01]                                                                                                                      
 11: (FileStore::_do_transactions(std::list<ObjectStore::Transaction*, std::allocator<ObjectStore::Transaction*> >&, unsigned long, ThreadPool::TPHandle*)+0x74) [0x722d24]                                                                   
 12: (JournalingObjectStore::journal_replay(unsigned long)+0x8a6) [0x736ee6]                                                                                                                                                                  
 13: (FileStore::mount()+0x3969) [0x708e79]                                                                                                                                                                                                   
 14: (OSD::do_convertfs(ObjectStore*)+0x1a) [0x5e8aaa]                                                                                                                                                                                        
 15: (OSD::convertfs(std::string const&, std::string const&)+0x49) [0x5e9509]                                                                                                                                                                 
 16: (main()+0x1d75) [0x5d2bf5]                                                                                                                                                                                                               
 17: (__libc_start_main()+0xed) [0x7f4eb655a76d]                                                                                                                                                                                              
 18: /usr/bin/ceph-osd() [0x5d69d9]                                                                                                                                                                                                           
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.                                                                                                                                                  
                                                                                                                                                                                                                                              
--- begin dump of recent events ---                                                                                                                                                                                                           
     0> 2014-07-29 19:37:45.646707 7f4eb8962780 -1 *** Caught signal (Aborted) **                                                                                                                                                             
 in thread 7f4eb8962780                                                                                                                                                                                                                       
                                                                                                                                                                                                                                              
 ceph version 0.72.2 (a913ded2ff138aefb8cb84d347d72164099cfd60)                                                                                                                                                                               
 1: /usr/bin/ceph-osd() [0x8843da]                                                                                                                                                                                                            
 2: (()+0xfcb0) [0x7f4eb7b91cb0]                                                                                                                                                                                                              
 3: (gsignal()+0x35) [0x7f4eb656f425]                                                                                                                                                                                                         
 4: (abort()+0x17b) [0x7f4eb6572b8b]                                                                                                                                                                                                          
 5: (__gnu_cxx::__verbose_terminate_handler()+0x11d) [0x7f4eb6ec169d]                                                                                                                                                                         
 6: (()+0xb5846) [0x7f4eb6ebf846]                                                                                                                                                                                                             
 7: (()+0xb5873) [0x7f4eb6ebf873]                                                                                                                                                                                                             
 8: (()+0xb596e) [0x7f4eb6ebf96e]                                                                                                                                                                                                             
 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x1df) [0x949e2f]                                                                                                                                                   
 10: (FileStore::_do_transaction(ObjectStore::Transaction&, unsigned long, int, ThreadPool::TPHandle*)+0x381) [0x71ba01]                                                                                                                      
 11: (FileStore::_do_transactions(std::list<ObjectStore::Transaction*, std::allocator<ObjectStore::Transaction*> >&, unsigned long, ThreadPool::TPHandle*)+0x74) [0x722d24]                                                                   
 12: (JournalingObjectStore::journal_replay(unsigned long)+0x8a6) [0x736ee6]                                                                                                                                                                  
 13: (FileStore::mount()+0x3969) [0x708e79]                                                                                                                                                                                                   
 14: (OSD::do_convertfs(ObjectStore*)+0x1a) [0x5e8aaa]                                                                                                                                                                                        
 15: (OSD::convertfs(std::string const&, std::string const&)+0x49) [0x5e9509]                                                                                                                                                                 
 16: (main()+0x1d75) [0x5d2bf5]                                                                                                                                                                                                               
 17: (__libc_start_main()+0xed) [0x7f4eb655a76d]                                                                                                                                                                                              
 18: /usr/bin/ceph-osd() [0x5d69d9]                                                                                                                                                                                                           
 NOTE: a copy of the executable, or `objdump -rdS <executable>` is needed to interpret this.                                                                                                                                                  
                                                                                                                                                                                                                                              
--- logging levels ---                                                                                                                                                                                                                        
   0/ 5 none                                                                                                                                                                                                                                  
   0/ 1 lockdep                                                                                                                                                                                                                               
   0/ 1 context                                                                                                                                                                                                                               
   1/ 1 crush                                                                                                                                                                                                                                 
   1/ 5 mds                                                                                                                                                                                                                                   
   1/ 5 mds_balancer                                                                                                                                                                                                                          
   1/ 5 mds_locker                                                                                                                                                                                                                            
   1/ 5 mds_log                                                                                                                                                                                                                               
   1/ 5 mds_log_expire                                                                                                                                                                                                                        
   1/ 5 mds_migrator                                                                                                                                                                                                                          
   0/ 1 buffer                                                                                                                                                                                                                                
   0/ 1 timer                                                                                                                                                                                                                                 
   0/ 1 filer                                                                                                                                                                                                                                 
   0/ 1 striper                                                                                                                                                                                                                               
   0/ 1 objecter                                                                                                                                                                                                                              
   0/ 5 rados                                                                                                                                                                                                                                 
   0/ 5 rbd                                                                                                                                                                                                                                   
   0/ 5 journaler                                                                                                                                                                                                                             
   0/ 5 objectcacher                                                                                                                                                                                                                          
   0/ 5 client                                                                                                                                                                                                                                
  20/20 osd                                                                                                                                                                                                                                   
   0/ 5 optracker                                                                                                                                                                                                                             
   0/ 5 objclass                                                                                                                                                                                                                              
   1/ 3 filestore                                                                                                                                                                                                                             
   1/ 3 journal                                                                                                                                                                                                                               
   0/ 5 ms                                                                                                                                                                                                                                    
   1/ 5 mon                                                                                                                                                                                                                                   
   0/10 monc                                                                                                                                                                                                                                  
   1/ 5 paxos                                                                                                                                                                                                                                 
   0/ 5 tp                                                                                                                                                                                                                                    
   1/ 5 auth                                                                                                                                                                                                                                  
   1/ 5 crypto                                                                                                                                                                                                                                
   1/ 1 finisher                                                                                                                                                                                                                              
   1/ 5 heartbeatmap                                                                                                                                                                                                                          
   1/ 5 perfcounter                                                                                                                                                                                                                           
   1/ 5 rgw                                                                                                                                                                                                                                   
   1/ 5 javaclient                                                                                                                                                                                                                            
   1/ 5 asok                                                                                                                                                                                                                                  
   1/ 1 throttle                                                                                                                                                                                                                              
  -2/-2 (syslog threshold)                                                                                                                                                                                                                    
  -1/-1 (stderr threshold)                                                                                                                                                                                                                    
  max_recent     10000                                                                                                                                                                                                                        
  max_new         1000                                                                                                                                                                                                                        
  log_file /var/log/ceph/ceph-osd.3.log                                                                                                                                                                                                       
--- end dump of recent events ---                                                                                                                                                                                                             

举报
huizeng
发帖于4年前 0回/4K+阅
顶部