l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   :   g g m l _ c u d a _ i n i t :   f o u n d   2   C U D A   
 
 d e v i c e s   ( T o t a l   V R A M :   2 4 5 7 5   M i B ) : 
 
 X  : 1   8: 5 8 
 
 +   . . .   r t - S l e e p   3 ;   l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   - - m o d e l   m o d e l 
 
 s \ Q w e n 3 . 5 - 3 5 B   . . . 
 
 +                                   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o                     :   N o t S p e c i f i e d :   ( g g m l _ c u d a _ i n i t : .   
 
       . . A M :   2 4 5 7 5   M i B ) : : S t r i n g )   [ ] ,   R e m o t e E x c e p t i o n 
 
         +   F u l l y Q u a l i f i e d E r r o r I d   :   N a t i v e C o m m a n d E r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
     D e v i c e   1 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ 
 
 D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - r p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c p u - h a s w e l l . d l l 
 
 s y s t e m   i n f o :   n _ t h r e a d s   =   6 ,   n _ t h r e a d s _ b a t c h   =   6 ,   t o t a l _ t h r e a d s 
 
   =   1 6 
 
 
 
 s y s t e m _ i n f o :   n _ t h r e a d s   =   6   ( n _ t h r e a d s _ b a t c h   =   6 )   /   1 6   |   C U D A   : 
 
   A R C H S   =   5 0 0 , 6 1 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 6 0 , 8 9 0   |   U S E _ G R A P H S   =   1   |   P E E R _ M 
 
 A X _ B A T C H _ S I Z E   =   1 2 8   |   C P U   :   S S E 3   =   1   |   S S S E 3   =   1   |   A V X   =   1   |   A 
 
 V X 2   =   1   |   F 1 6 C   =   1   |   F M A   =   1   |   B M I 2   =   1   |   L L A M A F I L E   =   1   |   O P E N 
 
 M P   =   1   |   R E P A C K   =   1   |   
 
 
 
 R u n n i n g   w i t h o u t   S S L 
 
 i n i t :   u s i n g   1 5   t h r e a d s   f o r   H T T P   s e r v e r 
 
 s t a r t :   b i n d i n g   p o r t   w i t h   d e f a u l t   a d d r e s s   f a m i l y 
 
 m a i n :   l o a d i n g   m o d e l 
 
 s r v         l o a d _ m o d e l :   l o a d i n g   m o d e l   ' m o d e l s \ Q w e n 3 . 5 - 3 5 B - A 3 B - Q 4 _ K _ 
 
 M . g g u f ' 
 
 c o m m o n _ i n i t _ r e s u l t :   f i t t i n g   p a r a m s   t o   d e v i c e   m e m o r y ,   f o r   b u g s   
 
 d u r i n g   t h i s   s t e p   t r y   t o   r e p r o d u c e   t h e m   w i t h   - f i t   o f f ,   o r   p r o v i 
 
 d e   - - v e r b o s e   l o g s   i f   t h e   b u g   o n l y   o c c u r s   w i t h   - f i t   o n 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   m e m o r y   u s e   w i t h   i n i t i a l   p a r a m 
 
 e t e r s   [ M i B ] : 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 0   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) :     1 
 
 2 2 8 7   t o t a l ,     1 1 3 8 7   u s e d ,       - 1 7 4   f r e e   v s .   t a r g e t   o f       1 0 2 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 1   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) :     1 
 
 2 2 8 7   t o t a l ,     1 1 5 7 3   u s e d ,       - 3 6 5   f r e e   v s .   t a r g e t   o f       1 0 2 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   t o   u s e   2 2 9 6 1   M i B   o f   d e v i c e   m e 
 
 m o r y   v s .   2 2 4 2 1   M i B   o f   f r e e   d e v i c e   m e m o r y 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c a n n o t   m e e t   f r e e   m e m o r y   t a r g e t s   o n   a l l   
 
 d e v i c e s ,   n e e d   t o   u s e   2 5 8 8   M i B   l e s s   i n   t o t a l 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c o n t e x t   s i z e   s e t   b y   u s e r   t o   2 6 2 1 4 4   - >   n 
 
 o   c h a n g e 
 
 l l a m a _ p a r a m s _ f i t :   f a i l e d   t o   f i t   p a r a m s   t o   f r e e   d e v i c e   m e m o r y :   
 
 n _ g p u _ l a y e r s   a l r e a d y   s e t   b y   u s e r   t o   9 9 9 ,   a b o r t 
 
 l l a m a _ p a r a m s _ f i t :   f i t t i n g   p a r a m s   t o   f r e e   m e m o r y   t o o k   0 . 5 2   s e c o 
 
 n d s 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 0   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 4 : 0 0 . 0 )   -   1 1 2 4 5   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 1   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 6 : 0 0 . 0 )   -   1 1 2 4 0   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d e r :   l o a d e d   m e t a   d a t a   w i t h   5 2   k e y - v a l u e   p a i r s   a 
 
 n d   7 3 3   t e n s o r s   f r o m   m o d e l s \ Q w e n 3 . 5 - 3 5 B - A 3 B - Q 4 _ K _ M . g g u f   ( v e r s i o 
 
 n   G G U F   V 3   ( l a t e s t ) ) 
 
 l l a m a _ m o d e l _ l o a d e r :   D u m p i n g   m e t a d a t a   k e y s / v a l u e s .   N o t e :   K V   o v e 
 
 r r i d e s   d o   n o t   a p p l y   i n   t h i s   o u t p u t . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       0 :                                               g e n e r a l . a r 
 
 c h i t e c t u r e   s t r                             =   q w e n 3 5 m o e 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       1 :                                                               g e 
 
 n e r a l . t y p e   s t r                             =   m o d e l 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       2 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ k   i 3 2                             =   2 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       3 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ p   f 3 2                             =   0 . 9 5 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       4 :                                             g e n e r a l . s a m 
 
 p l i n g . t e m p   f 3 2                             =   1 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       5 :                                                               g e 
 
 n e r a l . n a m e   s t r                             =   Q w e n 3 . 5 - 3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       6 :                                                       g e n e r a 
 
 l . b a s e n a m e   s t r                             =   Q w e n 3 . 5 - 3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       7 :                                               g e n e r a l . q u 
 
 a n t i z e d _ b y   s t r                             =   U n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       8 :                                                   g e n e r a l . 
 
 s i z e _ l a b e l   s t r                             =   3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       9 :                                                         g e n e r 
 
 a l . l i c e n s e   s t r                             =   a p a c h e - 2 . 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 0 :                                               g e n e r a l . l i 
 
 c e n s e . l i n k   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 3 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 1 :                                                       g e n e r a 
 
 l . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / u n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 2 :                                       g e n e r a l . b a s e _ m 
 
 o d e l . c o u n t   u 3 2                             =   1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 3 :                                     g e n e r a l . b a s e _ m o 
 
 d e l . 0 . n a m e   s t r                             =   Q w e n 3 . 5   3 5 B   A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 4 :                     g e n e r a l . b a s e _ m o d e l . 0 . o r 
 
 g a n i z a t i o n   s t r                             =   Q w e n 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 5 :                             g e n e r a l . b a s e _ m o d e l . 
 
 0 . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 3 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 6 :                                                               g e 
 
 n e r a l . t a g s   a r r [ s t r , 2 ]               =   [ " u n s l o t h " ,   " i m a g e - t e x t - t o - t e x t " 
 
 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 7 :                                             q w e n 3 5 m o e . b 
 
 l o c k _ c o u n t   u 3 2                             =   4 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 8 :                                       q w e n 3 5 m o e . c o n t 
 
 e x t _ l e n g t h   u 3 2                             =   2 6 2 1 4 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 9 :                                   q w e n 3 5 m o e . e m b e d d 
 
 i n g _ l e n g t h   u 3 2                             =   2 0 4 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 0 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 h e a d _ c o u n t   u 3 2                             =   1 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 1 :                     q w e n 3 5 m o e . a t t e n t i o n . h e a 
 
 d _ c o u n t _ k v   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 2 :                     q w e n 3 5 m o e . r o p e . d i m e n s i o 
 
 n _ s e c t i o n s   a r r [ i 3 2 , 4 ]               =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 3 :                                       q w e n 3 5 m o e . r o p e 
 
 . f r e q _ b a s e   f 3 2                             =   1 0 0 0 0 0 0 0 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 4 :   q w e n 3 5 m o e . a t t e n t i o n . l a y e r _ n o r m _ r 
 
 m s _ e p s i l o n   f 3 2                             =   0 . 0 0 0 0 0 1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 5 :                                           q w e n 3 5 m o e . e x 
 
 p e r t _ c o u n t   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 6 :                                 q w e n 3 5 m o e . e x p e r t _ 
 
 u s e d _ c o u n t   u 3 2                             =   8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 7 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 k e y _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 8 :                       q w e n 3 5 m o e . a t t e n t i o n . v a 
 
 l u e _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 9 :               q w e n 3 5 m o e . e x p e r t _ f e e d _ f o r w 
 
 a r d _ l e n g t h   u 3 2                             =   5 1 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 0 :   q w e n 3 5 m o e . e x p e r t _ s h a r e d _ f e e d _ f o r 
 
 w a r d _ l e n g t h   u 3 2                             =   5 1 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 1 :                                     q w e n 3 5 m o e . s s m . c 
 
 o n v _ k e r n e l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 2 :                                       q w e n 3 5 m o e . s s m . 
 
 s t a t e _ s i z e   u 3 2                             =   1 2 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 3 :                                     q w e n 3 5 m o e . s s m . g 
 
 r o u p _ c o u n t   u 3 2                             =   1 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 4 :                               q w e n 3 5 m o e . s s m . t i m e 
 
 _ s t e p _ r a n k   u 3 2                             =   3 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 5 :                                       q w e n 3 5 m o e . s s m . 
 
 i n n e r _ s i z e   u 3 2                             =   4 0 9 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 6 :                     q w e n 3 5 m o e . f u l l _ a t t e n t i o 
 
 n _ i n t e r v a l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 7 :                           q w e n 3 5 m o e . r o p e . d i m e n 
 
 s i o n _ c o u n t   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 8 :                                               t o k e n i z e r . 
 
 g g m l . m o d e l   s t r                             =   g p t 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 9 :                                                   t o k e n i z e 
 
 r . g g m l . p r e   s t r                             =   q w e n 3 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 0 :                                             t o k e n i z e r . g 
 
 g m l . t o k e n s   a r r [ s t r , 2 4 8 3 2 0 ]     =   [ " ! " ,   " \ " " ,   " # " ,   " $ " ,   " % " ,   " & " ,   
 
 " ' " ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 1 :                                     t o k e n i z e r . g g m l . 
 
 t o k e n _ t y p e   a r r [ i 3 2 , 2 4 8 3 2 0 ]     =   [ 1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 
 
 ,   1 ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 2 :                                             t o k e n i z e r . g 
 
 g m l . m e r g e s   a r r [ s t r , 2 4 7 5 8 7 ]     =   [ "   " ,   "   " ,   " i   n " ,   "   t " , . . 
 
 . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 3 :                                 t o k e n i z e r . g g m l . e o 
 
 s _ t o k e n _ i d   u 3 2                             =   2 4 8 0 4 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 4 :                         t o k e n i z e r . g g m l . p a d d i n 
 
 g _ t o k e n _ i d   u 3 2                             =   2 4 8 0 5 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 5 :                                         t o k e n i z e r . c h a 
 
 t _ t e m p l a t e   s t r                             =   { % -   s e t   i m a g e _ c o u n t   =   n a m e s p a c e ( 
 
 v a l u e . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 6 :                               g e n e r a l . q u a n t i z a t i 
 
 o n _ v e r s i o n   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 7 :                                                     g e n e r a l 
 
 . f i l e _ t y p e   u 3 2                             =   1 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 8 :                                             q u a n t i z e . i m 
 
 a t r i x . f i l e   s t r                             =   Q w e n 3 . 5 - 3 5 B - A 3 B - G G U F / i m a t r i x _ u n s 
 
 l o t h . . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 9 :                                       q u a n t i z e . i m a t r 
 
 i x . d a t a s e t   s t r                             =   u n s l o t h _ c a l i b r a t i o n _ Q w e n 3 . 5 - 3 5 B - 
 
 A 3 B . t x t 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 0 :                           q u a n t i z e . i m a t r i x . e n t 
 
 r i e s _ c o u n t   u 3 2                             =   5 1 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 1 :                             q u a n t i z e . i m a t r i x . c h 
 
 u n k s _ c o u n t   u 3 2                             =   7 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e     f 3 2 :     3 0 1   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 8 _ 0 :     3 1 1   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 4 _ K :       8 0   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 5 _ K :       4 0   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 6 _ K :         1   t e n s o r s 
 
 p r i n t _ i n f o :   f i l e   f o r m a t   =   G G U F   V 3   ( l a t e s t ) 
 
 p r i n t _ i n f o :   f i l e   t y p e       =   Q 4 _ K   -   M e d i u m 
 
 p r i n t _ i n f o :   f i l e   s i z e       =   2 0 . 4 9   G i B   ( 5 . 0 8   B P W )   
 
 l o a d :   0   u n u s e d   t o k e n s 
 
 l o a d :   p r i n t i n g   a l l   E O G   t o k e n s : 
 
 l o a d :       -   2 4 8 0 4 4   ( ' < | e n d o f t e x t | > ' ) 
 
 l o a d :       -   2 4 8 0 4 6   ( ' < | i m _ e n d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 3   ( ' < | f i m _ p a d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 4   ( ' < | r e p o _ n a m e | > ' ) 
 
 l o a d :       -   2 4 8 0 6 5   ( ' < | f i l e _ s e p | > ' ) 
 
 l o a d :   s p e c i a l   t o k e n s   c a c h e   s i z e   =   3 3 
 
 l o a d :   t o k e n   t o   p i e c e   c a c h e   s i z e   =   1 . 7 5 8 1   M B 
 
 p r i n t _ i n f o :   a r c h                                     =   q w e n 3 5 m o e 
 
 p r i n t _ i n f o :   v o c a b _ o n l y                         =   0 
 
 p r i n t _ i n f o :   n o _ a l l o c                             =   0 
 
 p r i n t _ i n f o :   n _ c t x _ t r a i n                       =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   n _ e m b d                                 =   2 0 4 8 
 
 p r i n t _ i n f o :   n _ e m b d _ i n p                         =   2 0 4 8 
 
 p r i n t _ i n f o :   n _ l a y e r                               =   4 0 
 
 p r i n t _ i n f o :   n _ h e a d                                 =   1 6 
 
 p r i n t _ i n f o :   n _ h e a d _ k v                           =   2 
 
 p r i n t _ i n f o :   n _ r o t                                   =   6 4 
 
 p r i n t _ i n f o :   n _ s w a                                   =   0 
 
 p r i n t _ i n f o :   i s _ s w a _ a n y                         =   0 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ k                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ v                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ g q a                                   =   8 
 
 p r i n t _ i n f o :   n _ e m b d _ k _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   n _ e m b d _ v _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   f _ n o r m _ e p s                         =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ n o r m _ r m s _ e p s                 =   1 . 0 e - 0 6 
 
 p r i n t _ i n f o :   f _ c l a m p _ k q v                       =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ m a x _ a l i b i _ b i a s             =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ l o g i t _ s c a l e                   =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ a t t n _ s c a l e                     =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   n _ f f                                     =   0 
 
 p r i n t _ i n f o :   n _ e x p e r t                             =   2 5 6 
 
 p r i n t _ i n f o :   n _ e x p e r t _ u s e d                   =   8 
 
 p r i n t _ i n f o :   n _ e x p e r t _ g r o u p s               =   0 
 
 p r i n t _ i n f o :   n _ g r o u p _ u s e d                     =   0 
 
 p r i n t _ i n f o :   c a u s a l   a t t n                       =   1 
 
 p r i n t _ i n f o :   p o o l i n g   t y p e                     =   - 1 
 
 p r i n t _ i n f o :   r o p e   t y p e                           =   4 0 
 
 p r i n t _ i n f o :   r o p e   s c a l i n g                     =   l i n e a r 
 
 p r i n t _ i n f o :   f r e q _ b a s e _ t r a i n               =   1 0 0 0 0 0 0 0 . 0 
 
 p r i n t _ i n f o :   f r e q _ s c a l e _ t r a i n             =   1 
 
 p r i n t _ i n f o :   n _ c t x _ o r i g _ y a r n               =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   r o p e _ y a r n _ l o g _ m u l           =   0 . 0 0 0 0 
 
 p r i n t _ i n f o :   r o p e _ f i n e t u n e d                 =   u n k n o w n 
 
 p r i n t _ i n f o :   m r o p e   s e c t i o n s                 =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 p r i n t _ i n f o :   s s m _ d _ c o n v                         =   4 
 
 p r i n t _ i n f o :   s s m _ d _ i n n e r                       =   4 0 9 6 
 
 p r i n t _ i n f o :   s s m _ d _ s t a t e                       =   1 2 8 
 
 p r i n t _ i n f o :   s s m _ d t _ r a n k                       =   3 2 
 
 p r i n t _ i n f o :   s s m _ n _ g r o u p                       =   1 6 
 
 p r i n t _ i n f o :   s s m _ d t _ b _ c _ r m s                 =   0 
 
 p r i n t _ i n f o :   m o d e l   t y p e                         =   3 5 B . A 3 B 
 
 p r i n t _ i n f o :   m o d e l   p a r a m s                     =   3 4 . 6 6   B 
 
 p r i n t _ i n f o :   g e n e r a l . n a m e                     =   Q w e n 3 . 5 - 3 5 B - A 3 B 
 
 p r i n t _ i n f o :   v o c a b   t y p e                         =   B P E 
 
 p r i n t _ i n f o :   n _ v o c a b                               =   2 4 8 3 2 0 
 
 p r i n t _ i n f o :   n _ m e r g e s                             =   2 4 7 5 8 7 
 
 p r i n t _ i n f o :   B O S   t o k e n                           =   1 1   ' , ' 
 
 p r i n t _ i n f o :   E O S   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O T   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   P A D   t o k e n                           =   2 4 8 0 5 5   ' < | v i s i o n _ p a d | > ' 
 
 p r i n t _ i n f o :   L F   t o k e n                             =   1 9 8   ' ' 
 
 p r i n t _ i n f o :   F I M   P R E   t o k e n                   =   2 4 8 0 6 0   ' < | f i m _ p r e f i x | > ' 
 
 p r i n t _ i n f o :   F I M   S U F   t o k e n                   =   2 4 8 0 6 2   ' < | f i m _ s u f f i x | > ' 
 
 p r i n t _ i n f o :   F I M   M I D   t o k e n                   =   2 4 8 0 6 1   ' < | f i m _ m i d d l e | > ' 
 
 p r i n t _ i n f o :   F I M   P A D   t o k e n                   =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   F I M   R E P   t o k e n                   =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   F I M   S E P   t o k e n                   =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 4   ' < | e n d o f t e x t | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   m a x   t o k e n   l e n g t h             =   2 5 6 
 
 l o a d _ t e n s o r s :   l o a d i n g   m o d e l   t e n s o r s ,   t h i s   c a n   t a k e   a   w h i l e . . .   
 
 ( m m a p   =   f a l s e ,   d i r e c t _ i o   =   f a l s e ) 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   o u t p u t   l a y e r   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   3 9   r e p e a t i n g   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d e d   4 1 / 4 1   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :                 C U D A 0   m o d e l   b u f f e r   s i z e   =   1 0 0 3 6 . 2 3   M i B 
 
 l o a d _ t e n s o r s :                 C U D A 1   m o d e l   b u f f e r   s i z e   =   1 0 4 3 4 . 0 9   M i B 
 
 l o a d _ t e n s o r s :         C U D A _ H o s t   m o d e l   b u f f e r   s i z e   =       5 1 5 . 3 1   M i B 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | e n d o f t e x t | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | i m _ e n d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i m _ p a d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | r e p o _ n a m e | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i l e _ s e p | >   l o g i t   b i a s   =   - i n f 
 
 l l a m a _ c o n t e x t :   c o n s t r u c t i n g   l l a m a _ c o n t e x t 
 
 l l a m a _ c o n t e x t :   n _ s e q _ m a x           =   1 
 
 l l a m a _ c o n t e x t :   n _ c t x                   =   2 6 2 1 4 4 
 
 l l a m a _ c o n t e x t :   n _ c t x _ s e q           =   2 6 2 1 4 4 
 
 l l a m a _ c o n t e x t :   n _ b a t c h               =   5 1 2 
 
 l l a m a _ c o n t e x t :   n _ u b a t c h             =   1 2 8 
 
 l l a m a _ c o n t e x t :   c a u s a l _ a t t n       =   1 
 
 l l a m a _ c o n t e x t :   f l a s h _ a t t n         =   e n a b l e d 
 
 l l a m a _ c o n t e x t :   k v _ u n i f i e d         =   f a l s e 
 
 l l a m a _ c o n t e x t :   f r e q _ b a s e           =   1 0 0 0 0 0 0 0 . 0 
 
 l l a m a _ c o n t e x t :   f r e q _ s c a l e         =   1 
 
 l l a m a _ c o n t e x t :     C U D A _ H o s t     o u t p u t   b u f f e r   s i z e   =           0 . 9 5   M i B 
 
 l l a m a _ k v _ c a c h e :             C U D A 0   K V   b u f f e r   s i z e   =       7 2 0 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :             C U D A 1   K V   b u f f e r   s i z e   =       7 2 0 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   s i z e   =   1 4 4 0 . 0 0   M i B   ( 2 6 2 1 4 4   c e l l s ,     1 0   l a y e r s ,   
 
   1 / 1   s e q s ) ,   K   ( q 4 _ 0 ) :     7 2 0 . 0 0   M i B ,   V   ( q 4 _ 0 ) :     7 2 0 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ k   =   1 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ v   =   1 
 
 l l a m a _ m e m o r y _ r e c u r r e n t :             C U D A 0   R S   b u f f e r   s i z e   =         3 1 . 4 1   M 
 
 i B 
 
 