En el Jerez del XIX fue común que particulares con capital actuasen como banqueros, prestando dinero a otros particulares o a empresas. Las operaciones de préstamos se hacían mediante contratos privados o públicos, quedando estos últimos registrados en los protocolos notariales. Se sabe que gran parte de la fortuna que acumuló Juan Sánchez de la Torre, cuyos herederos fundaron las bodegas Sánchez Romate, se debió al préstamo. A su muerte, en 1838, tenía prestado a la empresa Pedro Domecq 4.450.875,5 reales al 5% de interés, a la viuda de Richard Shil 1.470.742 reales y 410.474 reales a la testamentaría de Dastis y Solís. Para que nos demos cuenta del valor de esos préstamos, 100.000 reales era lo que valía en 1838 aproximadamente un caserón en la calle Larga, en el centro de la ciudad. Juan Sánchez actuaba como un banquero prestando dinero a otras casas comerciales a las que capitalizaba, labor que continuó su heredero Antonio Sánchez Romate.
En Jerez hubo una primera Caja de Ahorros en 1835, impulsada por el Conde de Villacreces que se extinguió al año siguiente, probablemente la primera Caja de Ahorros de España. En 1844, Luis Gonzaga Díez y Fernández de la Somera, poseyó una banca privada con la que financió numerosas actividades relacionadas con el negocio vinatero. Luis Díez recibió en 1850 la concesión del proyecto de la línea ferroviaria de Jerez al Trocadero que traspasó en 1851 a una sociedad anónima constituida por los principales capitalistas jerezanos. Fue bodeguero y en 1858 creó un tranvía de sangre, con vagones sobre raíles que eran tirados por mulas que recorrían el espacio que iba desde la Plaza del Arenal a la primera estación del ferrocarril en el Ejido, probablemente el primer prototipo de tranvía de España.
En 1846 existió otro proyecto de creación simultánea de tres Cajas de Ahorros impulsado por la Delegación Provincial de Cádiz. Se pretendía crear Cajas de Ahorros en Cádiz, Jerez y Algeciras (Archivo Municipal de Jerez, Protocolo Municipal 16 de 1846). En el caso gaditano, se pretendía la creación de un Monte de Piedad, cuyos fondos se agregarían a la Caja de Ahorros de Cádiz, que sería administrada por el banquero Luis Terry y Villa.
En el caso jerezano, la Delegación Provincial pidió al Ayuntamiento de Jerez que cediera un local gratuitamente para las oficinas y la dotase con 5 personas responsables y solventes para regir la entidad financiera. Se pretendía la creación simultánea de un Monte de Piedad que recibiese aportaciones de particulares a cambio de un interés, fomentándose el ahorro. Al mismo tiempo servía como casa de empeño de alhajas, ropas, muebles, obras de arte, etc., que pasado el tiempo pertinente para recuperarlos pasaban a propiedad de la entidad que las vendía en subastas públicas.
El plan no cristalizó porque el Ayuntamiento jerezano no estuvo dispuesto a cargar con los gastos iniciales de tan interesante proyecto. Hubo que esperar a 1862 para que se crease la Caja de Ahorros de Jerez, basada en las características descritas de sustentarse en un Monte de Piedad.
Sabemos por fuentes consultadas que en 1859 ya se había creado el Banco de Jerez y en 1861 se crearon otras dos entidades financieras: La Sociedad de Crédito Mercantil y la Caja Agrícola de Jerez. Esta última fue creada el 25 de enero de 1861 ante el notario Hipólito Abela Echarri. Probablemente, fue la ampliación de la primitiva banca privada del mencionado Luis Díez y Fernández de la Somera, que incorporó a un amplio grupo de burgueses jerezanos y gaditanos, muchos de ellos bodegueros, que invirtieron en la creación de esta primitiva sociedad financiera. Se constituyó con un capital inicial de 10 millones de reales, siendo dispar la aportación inicial de cada socio fundador. El objetivo de la entidad era financiar proyectos relacionados con las actividades agropecuarias, incluida las actividades vinateras, tan importantes en nuestra ciudad en el siglo XIX.
El principal socio inversor fue el mencionado Luis Gonzaga Díez y Fernández de la Somera, que aportó 2.700.000 de reales. El segundo gran inversor fue el bodeguero, exalcalde y senador del reino, Rafael Rivero de la Tixera (1.600.000 reales). El resto de socios, que se repartían el accionariado de la sociedad financiera según el capital aportado estaba formado por los siguientes hacendados de la alta sociedad jerezana del momento: Pedro López Ruiz, hijo de montañeses, bodeguero y político liberal (1.200.000 reales); Francisco de Asís Ponce de León y Fernández de Villavicencio, Marqués del Castillo, miembro de la nobleza que participó también del impulso económico que los burgueses propiciaron en la ciudad (1.000.000 de reales); Francisco y Julián Pemartín Laborde, hacendados y bodegueros de origen francés, este último ya había comenzado a construirse su excelsa morada del Recreo de las Cadenas (1.000.000 reales); José Luis y Manuel Díez y Fernández de la Somera, hacendados y bodegueros, hermanos del socio principal (500.000 reales cada uno); el banquero de origen vasco y francés, Juan Vicente Vergara y Lassaletta (500.000 reales); el banquero gaditano, Juan de Silonis (500.000 reales); Antonio de Zulueta y Madariaga, de familia de comerciantes gaditanos de origen vasco (500.000 reales).
Tenía negocios de exportación de vinos jerezanos en Inglaterra y EE. UU. Asimismo, su familia participó del negocio de esclavos negros africanos al continente americano. Junto con el socio principal, Luis Gonzaga Díez y Fernández de la Somera, participó en la creación del Colegio jesuita de San Luis Gonzaga de El Puerto de Santa María; José Antonio de Agreda y Jiménez, bodeguero que poseía sus propiedades en las Atarazanas, donde se construyó su magnífico palacio, hoy Colegio de la Compañía de María.
Los gestores y administradores de la sociedad bancaria fueron Luis Díez y Fernández de la Somera, su hermano Manuel y Juan Vicente Vergara y Lassaletta. Cada semestre se realizaba reparto de beneficios según el porcentaje de capital invertido. La sociedad podía quedar disuelta si hubiese pérdidas de ¼ de capital originario, algo que no ocurrió durante los primeros años, por lo que en 1864 se volvió a actualizar la sociedad financiera por 5 años más (escritura notarial ante Hipólito Abela Echarri de 15 de julio de 1864).
La Caja Agrícola de Jerez fue uno de los primeros bancos de España. Según algunas fuentes consultadas, la entidad pasó a denominarse en 1867 como Banca Díez Vergara, una sociedad en comandita. En 1932 se constituyó en Banca Díez Vergara S.A., conocida popularmente como “Banca Vergara”. En 1946 pasó a llamarse Banco de Jerez, pasando a ser en 1960 el Banco de Andalucía. Durante la crisis de 2008, este fue incorporado al Banco Popular Español, que en 2018 fue absorbido por el Banco de Santander.