/* $Id: VIScsum.S,v 1.6 2000/02/20 23:21:39 davem Exp $ * VIScsum.S: High bandwidth IP checksumming utilizing the UltraSparc *            Visual Instruction Set. * * Copyright (C) 1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz) * Copyright (C) 2000 David S. Miller (davem@redhat.com) * * Based on older sparc32/sparc64 checksum.S, which is: * *      Copyright(C) 1995 Linus Torvalds *      Copyright(C) 1995 Miguel de Icaza *      Copyright(C) 1996, 1997 David S. Miller *    derived from: *	  Linux/Alpha checksum c-code *        Linux/ix86 inline checksum assembly *        RFC1071 Computing the Internet Checksum (esp. Jacobsons m68k code) *	  David Mosberger-Tang for optimized reference c-code *	  BSD4.4 portable checksum routine */#ifdef __sparc_v9__#define STACKOFF	2175#else#define STACKOFF	64#endif#ifdef __KERNEL__#include <asm/head.h>#include <asm/asi.h>#include <asm/visasm.h>#include <asm/asm_offsets.h>#else#define ASI_BLK_P	0xf0#define FRPS_FEF	0x04#endif/* Dobrou noc, SunSoft engineers. Spete sladce. * This has a couple of tricks in and those * tricks are UltraLinux trade secrets :)) */#define START_THE_TRICK(fz,f0,f2,f4,f6,f8,f10)						\	fcmpgt32	%fz, %f0, %g1		/*  FPM		Group	*/;		\	fcmpgt32	%fz, %f2, %g2		/*  FPM		Group	*/;		\	fcmpgt32	%fz, %f4, %g3		/*  FPM		Group	*/;		\	inc		%g1			/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f6, %g5		/*  FPM			*/;		\	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f8, %g7		/*  FPM			*/;		\	inc		%g2			/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f10, %o3		/*  FPM			*/;		\	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\	inc		%g3			/*  IEU1		*/;		\	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\	add		%o2, %g1, %o2		/*  IEU1		*/;		\	add		%o2, %g2, %o2		/*  IEU0	Group	*/;		\	inc		%g5			/*  IEU1		*/;		\	add		%o2, %g3, %o2		/*  IEU0	Group	*/;#define DO_THE_TRICK(O12,O14,f0,f2,f4,f6,f8,f10,f12,f14,F0,F2,F4,F6,F8,F10,F12,F14)	\	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\	fpadd32		%F0, %f0, %F0		/*  FPA			*/;		\	fcmpgt32	%O12, %f12, %o4		/*  FPM			*/;		\	inc		%g7			/*  IEU0	Group	*/;		\	fpadd32		%F2, %f2, %F2		/*  FPA			*/;		\	fcmpgt32	%O14, %f14, %o5		/*  FPM			*/;		\	add		%o2, %g5, %o2		/*  IEU1	Group	*/;		\	fpadd32		%F4, %f4, %F4		/*  FPA			*/;		\	fcmpgt32	%f0, %F0, %g1		/*  FPM			*/;		\	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\	fpadd32		%F6, %f6, %F6		/*  FPA			*/;		\	fcmpgt32	%f2, %F2, %g2		/*  FPM			*/;		\	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\	fpadd32		%F8, %f8, %F8		/*  FPA			*/;		\	fcmpgt32	%f4, %F4, %g3		/*  FPM			*/;		\	inc		%o3			/*  IEU0	Group	*/;		\	fpadd32		%F10, %f10, %F10	/*  FPA			*/;		\	fcmpgt32	%f6, %F6, %g5		/*  FPM			*/;		\	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\	fpadd32		%F12, %f12, %F12	/*  FPA			*/;		\	fcmpgt32	%f8, %F8, %g7		/*  FPM			*/;		\	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\	fpadd32		%F14, %f14, %F14	/*  FPA			*/;		\	fcmpgt32	%f10, %F10, %o3		/*  FPM			*/;		\	inc		%o4			/*  IEU0	Group	*/;		\	inc		%o5			/*  IEU1		*/;		\	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\	inc		%g1			/*  IEU1		*/;		\	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\	add		%o2, %o4, %o2		/*  IEU1		*/;		\	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\	add		%o2, %o5, %o2		/*  IEU1		*/;		\	inc		%g2			/*  IEU0	Group	*/;		\	add		%o2, %g1, %o2		/*  IEU1		*/;		\	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\	inc		%g3			/*  IEU1		*/;		\	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\	add		%o2, %g2, %o2		/*  IEU1		*/;		\	inc		%g5			/*  IEU0	Group	*/;		\	add		%o2, %g3, %o2		/*  IEU0		*/;#define END_THE_TRICK(O12,O14,f0,f2,f4,f6,f8,f10,f12,f14,S0,S1,S2,S3,T0,T1,U0,fz)	\	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\	fpadd32		%f2, %f0, %S0		/*  FPA			*/;		\	fcmpgt32	%O12, %f12, %o4		/*  FPM			*/;		\	inc		%g7			/*  IEU0	Group	*/;		\	fpadd32		%f6, %f4, %S1		/*  FPA			*/;		\	fcmpgt32	%O14, %f14, %o5		/*  FPM			*/;		\	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\	fpadd32		%f10, %f8, %S2		/*  FPA			*/;		\	fcmpgt32	%f0, %S0, %g1		/*  FPM			*/;		\	inc		%o3			/*  IEU0	Group	*/;		\	fpadd32		%f14, %f12, %S3		/*  FPA			*/;		\	fcmpgt32	%f4, %S1, %g2		/*  FPM			*/;		\	add		%o2, %g5, %o2		/*  IEU0	Group	*/;		\	fpadd32		%S0, %S1, %T0		/*  FPA			*/;		\	fcmpgt32	%f8, %S2, %g3		/*  FPM			*/;		\	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\	fzero		%fz			/*  FPA			*/;		\	fcmpgt32	%f12, %S3, %g5		/*  FPM			*/;		\	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\	fpadd32		%S2, %S3, %T1		/*  FPA			*/;		\	fcmpgt32	%S0, %T0, %g7		/*  FPM			*/;		\	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\	fpadd32		%T0, %T1, %U0		/*  FPA			*/;		\	fcmpgt32	%S2, %T1, %o3		/*  FPM			*/;		\	inc		%o4			/*  IEU0	Group	*/;		\	inc		%o5			/*  IEU1		*/;		\	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\	inc		%g1			/*  IEU1		*/;		\	add		%o2, %o4, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f2, %o4		/*  FPM			*/;		\	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\	inc		%g2			/*  IEU1		*/;		\	add		%o2, %o5, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f6, %o5		/*  FPM			*/;		\	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\	inc		%g3			/*  IEU1		*/;		\	add		%o2, %g1, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f10, %g1		/*  FPM			*/;		\	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\	inc		%g5			/*  IEU1		*/;		\	add		%o2, %g2, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %f14, %g2		/*  FPM			*/;		\	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\	inc		%g7			/*  IEU1		*/;		\	add		%o2, %g3, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %S1, %g3		/*  FPM			*/;		\	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\	inc		%o3			/*  IEU1		*/;		\	add		%o2, %g5, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %S3, %g5		/*  FPM			*/;		\	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\	inc		%o4			/*  IEU1		*/;		\	add		%o2, %g7, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %T1, %g7		/*  FPM			*/;		\	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\	inc		%o5			/*  IEU1		*/;		\	add		%o2, %o3, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%T0, %U0, %o3		/*  FPM			*/;		\	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\	inc		%g1			/*  IEU1		*/;		\	sub		%o2, %o4, %o2		/*  IEU0	Group	*/;		\	fcmpgt32	%fz, %U0, %o4		/*  FPM			*/;		\	srl		%o5, 1, %o5		/*  IEU0	Group	*/;		\	inc		%g2			/*  IEU1		*/;		\	srl		%g1, 1, %g1		/*  IEU0	Group	*/;		\	sub		%o2, %o5, %o2		/*  IEU1		*/;		\	std		%U0, [%sp + STACKOFF]	/*  Store		*/;		\	srl		%g2, 1, %g2		/*  IEU0	Group	*/;		\	sub		%o2, %g1, %o2		/*  IEU1		*/;		\	inc		%g3			/*  IEU0	Group	*/;		\	sub		%o2, %g2, %o2		/*  IEU1		*/;		\	srl		%g3, 1, %g3		/*  IEU0	Group	*/;		\	inc		%g5			/*  IEU1		*/;		\	srl		%g5, 1, %g5		/*  IEU0	Group	*/;		\	sub		%o2, %g3, %o2		/*  IEU1		*/;		\	ldx		[%sp + STACKOFF], %o5	/*  Load	Group	*/;		\	inc		%g7			/*  IEU0		*/;		\	sub		%o2, %g5, %o2		/*  IEU1		*/;		\	srl		%g7, 1, %g7		/*  IEU0	Group	*/;		\	inc		%o3			/*  IEU1		*/;		\	srl		%o3, 1, %o3		/*  IEU0	Group	*/;		\	sub		%o2, %g7, %o2		/*  IEU1		*/;		\	inc		%o4			/*  IEU0	Group	*/;		\	add		%o2, %o3, %o2		/*  IEU1		*/;		\	srl		%o4, 1, %o4		/*  IEU0	Group	*/;		\	sub		%o2, %o4, %o2		/*  IEU0	Group	*/;		\	addcc		%o2, %o5, %o2		/*  IEU1	Group	*/;		\	bcs,a,pn	%xcc, 33f		/*  CTI			*/;		\	 add		%o2, 1, %o2		/*  IEU0		*/;		\33:						/*  That's it		*/;#define CSUM_LASTCHUNK(offset)								\        ldx             [%o0 - offset - 0x10], %g2;					\        ldx             [%o0 - offset - 0x08], %g3;					\        addcc           %g2, %o2, %o2;							\        bcs,a,pn        %xcc, 31f;							\         add            %o2, 1, %o2;							\31:     addcc           %g3, %o2, %o2;							\        bcs,a,pn        %xcc, 32f;							\         add            %o2, 1, %o2;							\32:	.text	.globl		csum_partial	.align		32csum_partial:	andcc		%o0, 7, %g0		/*  IEU1	Group		*/	be,pt		%icc, 4f		/*  CTI				*/	 andcc		%o0, 0x38, %g3		/*  IEU1			*/	mov		1, %g5			/*  IEU0	Group		*/	cmp		%o1, 6			/*  IEU1			*/	bl,pn		%icc, 21f		/*  CTI				*/	 andcc		%o0, 1, %g0		/*  IEU1	Group		*/	bne,pn		%icc, csump_really_slow /*  CTI				*/	 andcc		%o0, 2, %g0		/*  IEU1	Group		*/	be,pt		%icc, 1f		/*  CTI				*/	 and		%o0, 4, %g7		/*  IEU0			*/	lduh		[%o0], %g2		/*  Load			*/	sub		%o1, 2, %o1		/*  IEU0	Group		*/	add		%o0, 2, %o0		/*  IEU1			*/	andcc		%o0, 4, %g7		/*  IEU1	Group		*/	sll		%g5, 16, %g5		/*  IEU0			*/	sll		%g2, 16, %g2		/*  IEU0	Group 		*/	addcc		%g2, %o2, %o2		/*  IEU1	Group (regdep)	*/	bcs,a,pn	%icc, 1f		/*  CTI				*/	 add		%o2, %g5, %o2		/*  IEU0			*/1:	ld		[%o0], %g2		/*  Load			*/	brz,a,pn	%g7, 4f			/*  CTI+IEU1	Group		*/	 and		%o0, 0x38, %g3		/*  IEU0			*/	add		%o0, 4, %o0		/*  IEU0	Group		*/	sub		%o1, 4, %o1		/*  IEU1			*/	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/	bcs,a,pn	%icc, 1f		/*  CTI				*/	 add		%o2, 1, %o2		/*  IEU0			*/1:	and		%o0, 0x38, %g3		/*  IEU1	Group		*/4:	srl		%o2, 0, %o2		/*  IEU0	Group		*/	mov		0x40, %g1		/*  IEU1			*/	brz,pn		%g3, 3f			/*  CTI+IEU1	Group		*/	 sub		%g1, %g3, %g1		/*  IEU0			*/	cmp		%o1, 56			/*  IEU1	Group		*/	blu,pn		%icc, 20f		/*  CTI				*/	 andcc		%o0, 8, %g0		/*  IEU1	Group		*/	be,pn		%icc, 1f		/*  CTI				*/	 ldx		[%o0], %g2		/*  Load			*/	add		%o0, 8, %o0		/*  IEU0	Group		*/	sub		%o1, 8, %o1		/*  IEU1			*/	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/	bcs,a,pn	%xcc, 1f		/*  CTI				*/	 add		%o2, 1, %o2		/*  IEU0			*/1:	andcc		%g1, 0x10, %g0		/*  IEU1	Group		*/	be,pn		%icc, 2f		/*  CTI				*/	 and		%g1, 0x20, %g1		/*  IEU0			*/	ldx		[%o0], %g2		/*  Load			*/	ldx		[%o0+8], %g3		/*  Load	Group		*/	add		%o0, 16, %o0		/*  IEU0			*/	sub		%o1, 16, %o1		/*  IEU1			*/	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/	bcs,a,pn	%xcc, 1f		/*  CTI				*/	 add		%o2, 1, %o2		/*  IEU0			*/1:	addcc		%g3, %o2, %o2		/*  IEU1	Group		*/	bcs,a,pn	%xcc, 2f		/*  CTI				*/	 add		%o2, 1, %o2		/*  IEU0			*/2:	brz,pn		%g1, 3f			/*  CTI+IEU1	Group		*/	 ldx		[%o0], %g2		/*  Load			*/	ldx		[%o0+8], %g3		/*  Load	Group		*/	ldx		[%o0+16], %g5		/*  Load	Group		*/	ldx		[%o0+24], %g7		/*  Load	Group		*/	add		%o0, 32, %o0		/*  IEU0			*/	sub		%o1, 32, %o1		/*  IEU1			*/	addcc		%g2, %o2, %o2		/*  IEU1	Group		*/	bcs,a,pn	%xcc, 1f		/*  CTI				*/	 add		%o2, 1, %o2		/*  IEU0			*/